在Azure数据库中创建外部表

Question

我是azure databricks的新手，正在尝试创建一个外部表，指向Azure Data Lake Storage(ADLS)Gen-2位置。

我尝试从数据库笔记本设置ADLS访问的火花配置。我仍然无法执行创建的DDL。

注意：一个适合我的解决方案是将ADLS帐户装载到集群，然后使用外部表的DDL中的装载位置。但我需要检查是否可以使用ADLS路径创建一个外部表DDL，而无需安装位置。

# Using Principal credentials
spark.conf.set("dfs.azure.account.auth.type", "OAuth")
spark.conf.set("dfs.azure.account.oauth.provider.type", "ClientCredential")
spark.conf.set("dfs.azure.account.oauth2.client.id", "client_id")
spark.conf.set("dfs.azure.account.oauth2.client.secret", "client_secret")
spark.conf.set("dfs.azure.account.oauth2.client.endpoint", 
"https://login.microsoftonline.com/tenant_id/oauth2/token")

数据链路

create external table test(
id string,
name string
)
partitioned by (pt_batch_id bigint, pt_file_id integer)
STORED as parquet
location 'abfss://container@account_name.dfs.core.windows.net/dev/data/employee

收到错误

Error in SQL statement: AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Got exception: shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.contracts.exceptions.ConfigurationPropertyNotFoundException Configuration property account_name.dfs.core.windows.net not found.);

我需要帮助，知道这是否可以直接在DDL中引用ADLS位置？

谢了。

Answer 1

如果您可以使用Python（或Scala）。

从建立连接开始:

TenantID = "blah"

def connectLake():
  spark.conf.set("fs.azure.account.auth.type", "OAuth")
  spark.conf.set("fs.azure.account.oauth.provider.type", "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider")
  spark.conf.set("fs.azure.account.oauth2.client.id", dbutils.secrets.get(scope = "LIQUIX", key = "lake-sp"))
  spark.conf.set("fs.azure.account.oauth2.client.secret", dbutils.secrets.get(scope = "LIQUIX", key = "lake-key"))
  spark.conf.set("fs.azure.account.oauth2.client.endpoint", "https://login.microsoftonline.com/"+TenantID+"/oauth2/token")

connectLake()
lakePath = "abfss://[e-mail]/"

使用Python，您可以通过以下方式注册表:

spark.sql("CREATE TABLE DimDate USING PARQUET LOCATION '"+lakePath+"/PRESENTED/DIMDATE/V1'")

现在，如果您已经执行了connectLake（）函数，就可以查询该表了，这在当前会话/笔记本中很好。

现在的问题是，如果一个新会话进来，他们尝试从该表中选择*，除非他们先运行ConnectLake（）函数，否则它将失败。没有办法绕过这个限制，因为您必须证明凭据才能访问湖。

您可能需要考虑 ADLS 第 2 代凭据通过：https://docs.azuredatabricks.net/spark/latest/data-sources/azure/adls-passthrough.html

请注意，这需要使用高并发群集。

Answer 2

一旦配置了Azure数据湖存储，您就可以执行此操作。

如果您希望Databricks工作区中的所有用户都可以访问已装载的Azure Data Lake Storage Gen2帐户，您应该使用下面描述的方法创建一个装载点。用于访问Azure Data Lake Storage Gen2帐户的服务客户端应仅被授予对该Azure Data Lake Storage Gen2帐户的访问权限；不应授予它访问Azure中其他资源的权限。

一旦通过集群创建了装载点，该集群的用户就可以立即访问该装载点。要在另一个正在运行的集群中使用挂载点，用户必须在该正在运行的集群上运行dbutils.fs.refreshMounts()，以使新创建的挂载点可供使用。

从Databricks集群访问Azure Data Lake Storage Gen2有三种主要方式:

1. 使用具有委派权限和OAuth 2.0的服务主体将Azure Data Lake Storage Gen2文件系统装载到DBFS。
2. 直接使用服务主体
3. 直接使用Azure Data Lake Storage Gen2存储帐户访问密钥

有关更多详细信息，请参考“Azure数据湖存储第二代”。

希望这有所帮助。