spark如何解决文件不存在_Spark Read.json无法找到文件

鲁文昌
2023-12-01

嘿,我在AWS上拥有1个Master和1个Slave Node Standalone Spark Cluster . 我的主目录名为〜/ Notebooks . 这是我启动jupyter笔记本并在浏览器中连接jupyter . 我还有一个名为people.json的文件(简单的json文件) .

我尝试运行此代码

from pyspark import SparkContext, SparkConf

from pyspark.sql import SQLContext

conf = SparkConf().setAppName('Practice').setMaster('spark://ip-172-31-2-186:7077')

sc = SparkContext(conf=conf)

sqlContext = SQLContext(sc)

df = sqlContext.read.json("people.json")

当我运行最后一行时,我收到此错误 . 我不知道文件就在那里......有什么想法? -

Py4JJavaError:调用o238.json时发生错误 . :org.apache.spark.SparkException:作业因阶段失败而中止:阶段4.0中的任务1失败4次,最近失败:阶段4.0中丢失任务1.3(TID 37,ip-172-31-7-160.us -west-2.compute.internal):java.io.FileNotFoundException:文件文件:/home/ubuntu/Notebooks/people.json不存在

 类似资料: