使用通配符的 spark 读取 Blob 存储

Question

我想使用数据块将Azure Blob存储文件读入spark。但是我不想为每一级嵌套设置一个特定的文件或< code>*。

标准:是< code>**/*/不起作用。这些工作正常:

val df = spark.read.format("avro").load("dbfs:/mnt/foo/my_file/0/2019/08/24/07/54/10.avro")
val df = spark.read.format("avro").load("dbfs:/mnt/foo/my_file/*/*/*/*/*/*")

失败原因:

java.io.FileNotFoundException: No Avro files found. If files don't have .avro extension, set ignoreExtension to true

为

val df = spark.read.format("avro").load("dbfs:/foo/my_file/test/**/*")

Answer 1

默认情况下，Spark 以递归方式向下读取 - 因此您只需指向根文件夹：

val df = spark.read.format("avro").load("dbfs:/foo/my_file/test/")

路径值实际上是一个正则表达式。

< code>**不执行任何操作

*将起作用-尽管它通常以｛*｝的形式完成，称为globbing。这值得一读：如何使用regex在sc.textFile中包含/排除一些输入文件？