我们可以从数据砖自动加载器中排除或仅包含特定的文件扩展名吗？

Question

现在，数据库里克斯自动加载程序需要一个目录路径，所有文件都将从该目录加载。但是，如果一些其他类型的日志文件也开始进入该目录——有没有办法让自动加载程序在准备数据帧时排除这些文件？

df = spark.readStream.format("cloudFiles") \
  .option(<cloudFiles-option>, <option-value>) \
  .schema(<schema>) \
  .load(<input-path>)

Answer 1

使用 pathGlobFilter 作为选项之一，并提供一个正则表达式来筛选文件类型或具有特定名称的文件。

例如，要跳过文件名为A1.csv的文件，A2.csv……A9.csv从加载位置，path GlobFilter的值如下所示：

df = spark.read.load("/file/load/location,
                     format="csv", 
                     schema=schema, 
                     pathGlobFilter="A[0-9].csv")

Answer 2

自动加载器支持将球形串指定为

<代码>

Glob语法支持不同的选项，例如任何字符的*等。因此，您可以将input-path指定为，例如path/*. json。您也可以排除文件，但与包含模式相比，构建该模式可能会稍微复杂一些，但它仍然是可能的——例如，*。[^l][^o][^g]应该排除扩展名为. log的文件