无法从本地文件路径读取文本文件-启动CSV阅读器
我们使用Spark CSV reader读取CSV文件以转换为DataFrame，并在yarn-client上运行该作业，它在本地模式下运行良好。
我们在边缘节点中提交spark作业。
sqlContext.read.format("com.databricks.spark.csv")
.option("header", "true").option("inferSchema", "true")
.load("file:/filepath/file.csv")
错误日志：
2016-12-24 16:05:40,044 WARN [task-result-getter-0] scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, hklvadcnc06.hk.standardchartered.com): java.io.FileNotFoundException: File file:/shared/sample1.csv does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:609)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:822)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:599)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:421)
at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:140)
at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:341)
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:767)
at org.apache.hadoop.mapred.LineRecordReader.<init>(LineRecordReader.java:109)
at org.apache.hadoop.mapred.TextInputFormat.getRecordReader(TextInputFormat.java:67)
at org.apache.spark.rdd.HadoopRDD$$anon$1.<init>(HadoopRDD.scala:241)
at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:212)
at org.apache.spark.rdd.HadoopRDD.compute(HadoopRDD.scala:101)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:313)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:277)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:313)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:277)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:313)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:277)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
共有1个答案
是的，这在本地模式下可以很好地工作，但在边缘节点上就不行了。因为不能从边缘节点访问本地文件。HDFS通过指定文件的URL使文件可以访问。
-
问题内容： [编辑] 我使用 D3 解决了这个问题，不用了，谢谢！ 所以我有一个看起来像这样的csv文件，我需要将本地csv文件导入到我的客户端javascript中： 我最终需要解析它并输出如下内容： 但就目前而言，我仍然只是将其导入javascript。 我当前的代码如下所示： 我已经研究并找到了一些关于的有用链接，但是我是javascript的新手，我并不完全了解它。我应该使用Ajax吗？F
-
我试图通过创建一个函数来编写一个简单的文本文件阅读器，该函数接受文件的路径并将每行文本转换为char数组，但它不起作用。 这里出了什么问题？ 从以前的修订版更改了一点代码后，这似乎仍然不起作用，现在它给我一个异常101。 我在Firefox上测试过这个功能，它可以工作，但在Google Chrome上它就是不工作，它一直给我一个异常101。我如何让它不仅适用于Firefox，还适用于其他浏览器（尤
-
是否可以传入文件路径或从csv中的其他文件读取？我的测试设置是这样的。 测试仪测试 CSV数据配置 我想在csv项目列和jmeter测试中包含一个文件，它将读取和发布json项目。
-
问题内容： 如何使用JQuery.getJSON（）读取当前目录中的文件？ 我正在尝试一些简单的操作（将data.json文件与html文件放在同一目录中）： 我得到错误： XMLHttpRequest无法加载file：/// C：/Projects/test/data.json。Access-Control-Allow- Origin不允许使用Origin null。 我尝试了各种路径组合，但似
-
问题内容： 我正在尝试读取“ file.txt”，然后使用Golang将内容放入变量中。这是我尝试过的… 文件已成功读取，并且从 os.Open 返回的返回类型为 * os.File 问题答案： 这取决于您要执行的操作。 它输出＆{0xc082016240}的原因是因为您正在打印文件描述符（）的指针值，而不是文件内容。要获取文件内容，可以从文件描述符中获取。 要将所有文件内容（以字节为单位）读取到
-
问题内容： 我正在尝试通过创建一个接受文件路径并将文本的每一行转换为char数组的函数来编写一个简单的文本文件阅读器，但是它不起作用。 这是怎么了？ 从先前的版本中稍稍更改了代码后，这似乎仍然不起作用，现在给了我一个例外101。 我已经在Firefox上对其进行了测试，并且可以工作，但是在Google Chrome中它却无法工作，并且一直给我一个异常101。如何使它不仅可以在Firefox上而且还