spark如何解决文件不存在_Spark Read.json无法找到文件

嘿，我在AWS上拥有1个Master和1个Slave Node Standalone Spark Cluster . 我的主目录名为〜/ Notebooks . 这是我启动jupyter笔记本并在浏览器中连接jupyter . 我还有一个名为people.json的文件(简单的json文件) .

我尝试运行此代码

from pyspark import SparkContext, SparkConf

from pyspark.sql import SQLContext

conf = SparkConf().setAppName('Practice').setMaster('spark://ip-172-31-2-186:7077')

sc = SparkContext(conf=conf)

sqlContext = SQLContext(sc)

df = sqlContext.read.json("people.json")

当我运行最后一行时，我收到此错误 . 我不知道文件就在那里......有什么想法？ -

Py4JJavaError：调用o238.json时发生错误 . ：org.apache.spark.SparkException：作业因阶段失败而中止：阶段4.0中的任务1失败4次，最近失败：阶段4.0中丢失任务1.3(TID 37，ip-172-31-7-160.us -west-2.compute.internal)：java.io.FileNotFoundException：文件文件：/home/ubuntu/Notebooks/people.json不存在