使用fromFile时出错

Question

我试图使用fromFile，但我得到错误。该文件已经存在，可以用sc.textfile打开，但是如果我用相同的路径打开同一个文件，formfile会出现错误。下面是我的代码：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import java.io.File
import scala.io.Source

val filename: String = "file:///data/text.txt"

// this works, no error and the file is opened
val msgRDD = sc.textFile(filename);

// errors with this line, see below.  The same file and same path
val lines = Source.fromFile(filename).getLines.toArray

以下是错误

Answer 1

问题出在文件名格式上。使用source.fromfile时，不需要使用file://作为文件路径。尝试使用以下代码进行阅读

val filename: String = "/data/text.txt"
val lines = Source.fromFile(filename).getLines.toArray