ADLS文件中的数据块作业微件

Question

我有一个文本小部件，用户需要在批处理id说“201906”饲料，这是一年与月。所以这个特定批次的数据被处理。那么，现在我如何从位于ADLS容器中的CSV或文件名中获取该值，并在databricks dropdown小部件中使用它，以便用户不能自由输入不需要处理或限制处理的batchid？因此，基本上我想给用户的选择与所需的批处理，但不是一个完整的字段来输入他想要的任何东西。

Answer 1

很简单-您可以使用本地文件API访问DBFS上的文件，如下所示（您需要将dbfs：/替换为/dbfs/以访问DBFS上的文件）：

with open("/dbfs/tmp/my-batches.txt") as f:
  batches = [l.strip() for l in f.readlines() if l.strip() != ""]
    
dbutils.widgets.dropdown(name="batches", label="Select batch", 
     choices=batches, defaultValue=batches[0])

会给你你需要的东西:

可以使用 Spark API 实现相同的目标 - 它可能有点慢，但不需要装载存储帐户 - 可以使用 abfss://、wasbs:// 和其他受支持的协议：

dbutils.widgets.removeAll()
df = spark.read.text("/tmp/my-batches.txt")
batches = [r[0].strip() for r in df.collect() if r[0].strip() != ""]   
dbutils.widgets.dropdown(name="batches", label="Select batch", 
     choices=batches, defaultValue=batches[0])