Spark read csv-Java中的多个S3路径

Question

我正在尝试读取多个s3目录（每个目录将有多个文件在其中）使用Spark的读取csv方法，但我得到了错误，因为s3路径有一些非法字符的。我已经检查了相关的问题，但没有看到Java的解决方案。无法为Java实现相同的解决方案。

DataSet<Row> DocsTemp  = null;
String scanResultFolder = "\"" + "s3a://somebucket/Dir1/" + "\",\"" + "s3a://somebucket/Dir2/" + "\"";
DocsTemp = spark.read().csv(scanResultFolder);

但在运行时，它将整个字符串（scanResultFolder）视为单个路径并给出错误。

请建议我实现此功能的正确方法。

Answer 1

您需要传入Java数组，而不仅仅是逗号分隔的字符串（请参见https://spark.apache.org/docs/latest/api/Java/org/apache/spark/sql/dataframereader.html#csv-java.lang.string...-):

DocsTemp = spark.read().csv({"s3a://somebucket/Dir1/", "s3a://somebucket/Dir2/"});