在闪亮的Databricks连接中支持Azure Data Lake Gen 2凭据传递需要额外的配置？

Question

我有一个Azure Databricks (Databricks 6.4(包括Apache Spark 2.4.5、Scala 2.11))标准集群，配置了Active Directory passthrough来支持查询Azure Data Lake Gen 2存储帐户。

ADLS是通过蟒蛇安装的：

configs = {
  "fs.azure.account.auth.type": "CustomAccessToken",
  "fs.azure.account.custom.token.provider.class":   spark.conf.get("spark.databricks.passthrough.adls.gen2.tokenProviderClassName")
}


dbutils.fs.mount(
  source = "abfss://[e-mail]/",
  mount_point = "/mnt/taxi",
  extra_configs = configs)

使用databricks笔记本中的{sparkR}返回结果。

taxiall <- read.df("/mnt/taxi/yellow",source="parquet")
collect(mean(rollup(taxiall, "vendorID", "puLocationId"), "totalAmount"))

使用 {sparklyr} 会使令牌出现问题。

library(sparklyr)
library(dplyr)
sc <- spark_connect(method = "databricks")
yellowtaxi <- spark_read_parquet(path="/mnt/taxi/yellow",sc=sc)
yellow_taxi %>%
  group_by(vendorID, puLocationId) %>%
  summarise(avgFare= mean(totalAmount), n= n()) ->
  fares

collect(fares)

错误:com . databricks . back end . daemon . data . client . ADL . azurecredentialnotfoundexception:找不到ADLS Gen2令牌

是否需要其他额外的东西来确保sparkyr与凭证传递一起工作？

Answer 1

注意：仅支持使用OAuth凭据安装Azure Data Lake Storage Gen2。不支持使用帐户访问密钥装载。

原因：Sparklyr 中的spark_read_csv函数无法提取 ADLS 令牌以启用身份验证和读取数据。

解决方案：解决方法是使用 Azure 应用程序 ID、应用程序密钥和目录 ID 在 DBFS 中装载 ADLS 位置。

**挂载Azure Data Lake Storage Gen2文件系统：**

若要装载 Azure 数据湖存储 Gen2 文件系统或其中的文件夹，请使用以下命令：

Scala代码：

val configs = Map(
  "fs.azure.account.auth.type" -> "OAuth",
  "fs.azure.account.oauth.provider.type" -> "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
  "fs.azure.account.oauth2.client.id" -> "<application-id>",
  "fs.azure.account.oauth2.client.secret" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential>"),
  "fs.azure.account.oauth2.client.endpoint" -> "https://login.microsoftonline.com/<directory-id>/oauth2/token")

// Optionally, you can add <directory-name> to the source URI of your mount point.
dbutils.fs.mount(
  source = "abfss://<file-system-name>@<storage-account-name>.dfs.core.windows.net/",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = configs)

Python代码:

configs = {"fs.azure.account.auth.type": "OAuth",
           "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
           "fs.azure.account.oauth2.client.id": "<application-id>",
           "fs.azure.account.oauth2.client.secret": dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential>"),
           "fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/<directory-id>/oauth2/token"}

# Optionally, you can add <directory-name> to the source URI of your mount point.
dbutils.fs.mount(
  source = "abfss://<file-system-name>@<storage-account-name>.dfs.core.windows.net/",
  mount_point = "/mnt/<mount-name>",
  extra_configs = configs)

参考：使用Sparklyr和“使用服务主体和OAuth 2.0挂载Azure Data Lake Storage Gen2帐户”从ADLS Gen1/gen2读取数据时出错。

Answer 2

为了使用AD passthrough，您必须在scala的单用户模式下使用集群，或者在多用户模式下使用Python和SQL不幸的是，它没有提到R，可能根本不支持！

您可以尝试高并发集群，看看它是否正常工作。这都是因为每个用户的进程都需要隔离，以确保安全。因为R是JVM之上的互操作，所以可以以支持Python的方式来支持它，尽管文档中没有这样说，并且当您在集群配置中选中此选项时，它在自动配置中看起来没有启用。他们可能只是没有时间去做，因为绝大多数用户现在都在这个平台上使用python。

这里详细介绍了它 - 但不是最好的书面文档。

https://learn . Microsoft . com/en-us/azure/databricks/security/credential-pass through/adls-pass through