如何在sc.textFile而不是HDFS中加载本地文件

Question

我正在学习伟大的火花教程

所以我尝试在46m:00s加载自述文件。md但我所做的是：

$ sudo docker run -i -t -h sandbox sequenceiq/spark:1.1.0 /etc/bootstrap.sh -bash
bash-4.1# cd /usr/local/spark-1.1.0-bin-hadoop2.4
bash-4.1# ls README.md
README.md
bash-4.1# ./bin/spark-shell
scala> val f = sc.textFile("README.md")
14/12/04 12:11:14 INFO storage.MemoryStore: ensureFreeSpace(164073) called with curMem=0, maxMem=278302556
14/12/04 12:11:14 INFO storage.MemoryStore: Block broadcast_0 stored as values in memory (estimated size 160.2 KB, free 265.3 MB)
f: org.apache.spark.rdd.RDD[String] = README.md MappedRDD[1] at textFile at <console>:12
scala> val wc = f.flatMap(l => l.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://sandbox:9000/user/root/README.md
    at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:285)

我如何加载自述文件。md？

Answer 1

虽然Spark支持从本地文件系统加载文件，但它要求这些文件在集群中所有节点的同一路径上可用。

一些网络文件系统，如NFS、AFS和MapR的NFS层，作为常规文件系统向用户公开。

如果您的数据已经在其中一个系统中，那么您可以将其用作输入，只需指定一个文件：//path；只要文件系统安装在每个节点的相同路径上，Spark就会处理它。每个节点都需要有相同的路径

 rdd = sc.textFile("file:///path/to/file")

如果您的文件还没有在集群中的所有节点上，您可以在本地将其加载到驱动程序上，而无需通过Spark，然后调用并行化将内容分发给工作人员

注意将文件：//放在前面，并根据操作系统使用“/”或“\”。

Answer 2

冈贝的回答很好。但我还是想提一下文件：//=~// ，而不是$SPARK\u HOME。希望这能为像我这样的新手节省一些时间。

Answer 3

尝试显式指定sc.textFile（file：///path to the file/）。设置Hadoop环境时发生错误。

SparkContext。textFile内部调用org。阿帕奇。hadoop。映射。文件输入格式。getSplits，它依次使用org。阿帕奇。hadoop。财政司司长。getDefaultUri如果缺少架构。此方法读取Hadoop conf的“fs.defaultFS”参数。如果设置Hadoop_conf_DIR环境变量，该参数通常设置为hdfs://...否则为“文件：//”。