spark scala中对多个文件的同时操作

Question

我在textfile中有一个id列表=id1、id2、id3等

val IDList = sc.textFile("/home/.../IDList.csv").flatMap(line => line.split(","))

每个id都与repo中的csv dataframe相关联：“/home/data/”+idX+“/*.csv”

我试着做这样的事情却没有结果：

val IDList = sc.textFile("/home/.../IDList.csv").flatMap(line => line.split(","))
    IDList.map(x => {
          val path =  "/home/data" + x + "/*.csv"
          val dataFrame = sparkSession.read.format("csv").option("header", "true").load(path)
            .withColumn().filter()blablabla
          // save 
          dataFrame.repartition(1).write.format("csv").option("header","true").save("/home/g179887/Desktop/test")
        })

谢谢你的帮助

Answer 1

应该使用scalaParallel Collections存储id列表&使用Spark读取文件内容。通过这种方式，spark可以同时读取内容和操作多个文件。

import scala.io.Source
val IDList = Source.fromFile("/home/.../IDList.csv").getLines.toList.par

.map()的内容可以保持不变。