Spark 2.2.0-加载特定的文件列表

Question

我想把一个特定的文件列表加载到Spark中。我创建了一个UDF来过滤文件列表，因此我获得了一个seq 和我要加载的文件。我试图使用public dataset csv(cala.collection.seq paths) 指向API的链接，但由于某些原因，它告诉我“重载方法值csv具有替代选项：（paths:String*)org.apache.spark.sql.dataframe（csvdataset:org.apache.spark.sql.dataframe[String])org.apache.spark.sql.dataframe（path：String）org.apache.spark.sql.dataframe（path：String）org.apache.spark.sql.dataframe不能应用于(seq[String])”

我在这里漏掉了什么？

package main.scala.task

import org.apache.spark.sql.SparkSession


object Test {

  def date_filter: (java.io.File, Int) => Boolean = (file: java.io.File, threshold: Int) => {
    val pat1 = "(\\d+)".r // Pattern to capture timestamp
    val matcher1 = pat1.findFirstMatchIn(file.getName) // Capture timestamp

    matcher1 match {
      case Some(matched1) => {if (matched1.group(1).toInt > threshold) {true} else {false}}
      case None => false
    }
  }

  def main(args: Array[String]) {

    val spark = SparkSession.builder().getOrCreate()
    import spark.implicits._

    val path = "/my_folder/Test"

    val now: Int = 1486022490
    var files = new java.io.File(path).listFiles.filter(p => date_filter(p,now)).map(_.getName).toSeq

    val df = spark.read.csv(files)

  }
}

Answer 1

错误是告诉您需要使用varargs而不是传递字符串序列。

val files: Seq[String] = Seq("/path/to/file1.txt", "/path/to/file2.txt")
val df = spark.read.csv(files:_*)

此外，您链接到Java文档而不是Scala文档，这可能会解释您的困惑。