在spark中使用SQlcontext加载csv时出错
在此输入图像说明
sparkDF = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('PR_DATA_35.csv')
error_------------------------------------------------------------Py4JJavaError Traceback（最近调用last）in（）---->1 sparkDF=sqlcontext.read.format('com.databricks.spark)
/home/ec2-user/spark/python/pyspark/sql/readwriter.pyc in load（self,path,format,schema,**options)157 self.options(**options)158 if isinstance（path,basestring):-->159 return self._df(self._jreader.load（path））160 eIf path不是none：161 if type（path）！=列表：
/home/ec2-user/spark/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py in call（self,*args）1131应答=self.gateway_client.send_command（command）1132 return_value=get_return_value(->1133应答,self.gateway_client,self.target_id,self.name)1134 1135对于temp_args中的temp_arg:
/home/ec2-user/spark/python/pyspark/sql/utils.pyc in deco(*a,**kw)61 def deco(*a,**kw):62 try:---->63返回f(*a,**kw)64除py4j.protocol.py4jJavaError为E:65 s=e.java_exception.toString()
/home/ec2-user/spark/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py in get_return_value（应答,gateway_client,target_id,name）317 Rise Py4JJavaError（318“调用{0}{1}{2}时出错.\n”。-->319 format（target_id,“.”,name）,value）320 else：321 Rise Py4JError（
感谢任何帮助。谢谢
共有1个答案
原因：java.io.FileNotFoundException：File File:/home/ec2-user/pr_data_35.csv不存在？？
-
我是Spark的新手，我正在尝试使用Spark从文件中读取CSV数据。以下是我正在做的： 我希望这个调用会给我一个文件前两列的列表，但我遇到了以下错误： 索引器中第1行的文件“”：列表索引超出范围 虽然我的CSV文件不止一列。
-
> 我运行spark shell，如下所示： spark-shell--jars.\spark-csv2.11-1.4.0.jar；.\commons-csv-1.2.jar（我不能直接下载这些依赖项，这就是我使用--jars的原因） 使用以下命令读取csv文件： 在执行第一个建议的解决方案后：
-
如何使用类路径加载csv文件？在此之前，我尝试使用FileReader加载文件，这在本地运行时工作正常，但是当部署到外部服务器时会引发像FileNotFound这样的异常。下面的代码在本地工作，但是当部署在tomcat文件夹www/[jar]上的jar抛出这个异常不幸的是，我无法提供原始代码。这是要点：
-
我正在尝试使用spack-csv从spack-shell中的aws s3读取csv。 下面是我所做的步骤。使用下面的命令启动spack-shell 箱子/火花壳——包装com。数据块：spark-csv\u 2.10:1.2.0 在shell中，执行以下scala代码 获取以下错误 我在这里错过了什么？请注意，我可以使用 同样的scala代码在databricks笔记本中也可以正常工作 在spar
-
csv文件中的每一行结构如下：