从数据库到天蓝色突触的连接

Question

我是云服务的新手，我试图在databricks和azure synapse之间建立联系。我的笔记本电脑中有生成数据帧的数据块，我想用它们填充synapse中的专用SQL池。

在查看了microsoft文档中建议的操作并遵循这些步骤后，我遇到了这个错误。

法典

df = spark.read \
  .format("com.databricks.spark.sqldw") \
  .option("url", <the-rest-of-the-connection-string>") \
  .option("forwardSparkAzureStorageCredentials", "true") \
  .option("dbTable", "Table") \
  .option("tempDir", "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net/<your-directory-name>") \
  .load()

错误

Py4JJavaError: An error occurred while calling o1509.save.
: com.databricks.spark.sqldw.SqlDWConnectorException: Exception encountered in Azure Synapse Analytics connector code.

Caused by: java.lang.StringIndexOutOfBoundsException: String index out of range: 14

一些考虑

• 我创建了一个简单的数据框用于测试目的，假设问题可能是数据框
• 以前没有在突触中生成空表，我希望它是自动创建的

有人能帮我理解这个问题吗？

Answer 1

遵循以下步骤:

配置Azure存储帐户

spark.conf.set(fs.azure.account.key.<your_storage_account>.blob.core.windows.net, “<your_storage_account_access_key>”)

Azure Synapse configuration

Database = <Database_Name>
Server = <Server_Name>
User = <Database_Username>
Pass = <Database_Password>
JdbcPort =  "1433"
JdbcExtraOptions = "encrypt=true;trustServerCertificate=true;hostNameInCertificate=*.database.windows.net;loginTimeout=30;"
sqlUrl = f"jdbc:sqlserver://{Server}:{JdbcPort};database={Database};user={User};password={Pass};${JdbcExtraOptions}"

Azure数据湖第2代

tempDir = "abfss://<container>@<your_storage_account_name>.dfs.core.windows.net/<folder>"

Azure Synapse表

tableName = <your_sql_table>

从Azure Synapse读取数据

df = spark.read \
  .format("com.databricks.spark.sqldw") \
  .option("url", sqlUrl) \
  .option("tempDir", tempDir) \
  .option("forwardSparkAzureStorageCredentials", "true") \
  .option("dbTable", tableName) \
  .load()

参考:

如何连接到Azure Databricks中的Azure Synapse