使用spark读取文件时出错
我在apache Spark中读取本地文件时出错。scala>val f=sc.textfile（“/home/cloudera/downloads/sample.txt”）
f: org.apache.spark.rdd.RDD[String] = /home/cloudera/Downloads/sample.txt MapPartitionsRDD[9] at textFile at <console>:27
共有1个答案
您必须指定文件路径。设置hadoop路径时，需要指定路径。
sc.textFile("file:///home/cloudera/Downloads/sample.txt")
希望这能有所帮助！
-
> 我运行spark shell，如下所示： spark-shell--jars.\spark-csv2.11-1.4.0.jar；.\commons-csv-1.2.jar（我不能直接下载这些依赖项，这就是我使用--jars的原因） 使用以下命令读取csv文件： 在执行第一个建议的解决方案后：
-
我希望我的Spark应用程序（Scala）能够读取S3文件 在我的开发机器上，我可以使用awscli访问S3文件在或中预先配置的配置文件，例如： 但是当尝试从Spark读取这些文件时，使用作为env变量提供的aws_配置文件（aws_配置文件），我得到了以下错误： DoesBucket存在于我的bucket名称中：com.amazonaws.AmazonClientException:BasicA
-
我试图在RDD中将PostgreSQL 9.6中的一个表读取到Spark 2.1.1中，我在Scala中有以下代码。 但是，它返回以下错误： 组织。阿帕奇。火花SparkException：作业因阶段失败而中止：阶段1.0中的任务0失败4次，最近的失败：阶段1.0中的任务0.3丢失（TID 7，10.0.0.13，执行者1）：组织。postgresql。util。PSQLException：列索引
-
有人能帮我用Spark Scala读API读excel文件吗？我尝试安装（从Maven）与Databricks Runtime 6.5和6.6（Apache Spark 2.4.5,Scala 2.11）集群，但只有在硬编码文件路径的情况下才能工作。
-
我正在尝试从db中选择*。abc在蜂箱中，这个蜂箱表是使用spark加载的 它不工作显示错误： 错误：java。伊奥。IOException:java。lang.IllegalArgumentException:bucketId超出范围：-1（状态=，代码=0） 当我使用以下属性时，我能够查询配置单元： 现在，当我尝试读取相同的hive表db.abc使用火花，我收到的错误如下： 客户端只有在具有以