使用 azure databricks scala 将数据从 blob 存储加载到 sql 数据仓库
我正在尝试使用 azure databricks scala 将数据从 blob 存储加载到 SQL 数据仓库中。
spark.conf.set("spark.sql.parquet.writeLegacyFormat","true")
df.write.format("com.databricks.spark.sqldw")
.option("url",sqlDwUrlSmall)
.option("dbtable", "Person")
.option("forward_spark_azure_storage_credentials","True")
.option("tempdir",tempDir).mode("overwrite").save()
我收到这个错误
潜在的SQLException：-com.microsoft.sqlserver.jdbc.SQLServerException：由于内部错误，外部文件访问失败：“访问HDFS时发生错误：Java调用HdfsBridge_IsDirExist时引发的异常。Java异常消息：HdfsBridge::isDirExist-检查目录是否存在时遇到意外错误：StorageException：此请求无权执行此操作。”[ErrorCode=105019][SQLState=S0001]
共有1个答案
使用azure databricks scala将数据从blob存储成功加载到sql数据仓库。
> < li>
确保通过正确的路径。
确保按以下格式传递“tempDir”。
tempDir = " wabss://" blob container " @ " blob storage "/tempDirs "
参考：将数据加载到 Azure SQL 数据仓库
希望这能有所帮助。
-
我有一个 json 文件存储在 Azure Blob 存储中，并且已使用数据工厂将其加载到 Azure SQL 数据库中。现在我想找到一种方法，以便仅将文件的新记录加载到我的数据库（因为文件每周左右更新一次）。有没有办法做到这一点？ 谢谢！
-
我正试图从azure blob存储中加载数据到delta lake。我正在使用下面的代码段 storage_account_name=“xxxxxxxxdev”storage_account_access_key=“xxxxxxxxxxxxxxxxxx” file_location=“wasbs://bicc-hdspk-eus-qc@xxxxxxxxdev.blob.core.windows.n
-
我需要从Google Cloud Storage（GCS->Temp Table->Main table)中加载100个表到BigQuery。我创建了一个python进程，将数据加载到BigQuery中，并在AppEngine中进行调度。因为AppEngine最多有10min的超时时间。我已经在异步模式下提交了作业，并在稍后的时间点检查了作业状态。由于我有100个表，需要创建一个监控系统来检查作业
-
问题内容： 您好，我在较早之前发布了此内容，并获得了一些帮助，但仍然没有有效的解决方案。由于最后的问与答，我确定我的“保存到数据库”代码以及“检索到图片”代码有问题。即使我手动将图片保存在数据库中，它也不会恢复。这是我从网络上的3或4个示例中修补而成的代码。理想情况下，如果有人拥有一些已知的良好代码，并且可以指导我这样做，那将是最好的。 ！[在此处输入图片描述] [1] ‘*使用以下代码检索到图片
-
如何将 avro 文件从 Blob 存储加载到 Azure 数据工厂 移动数据流？我正在尝试加载，但无法导入架构和预览。我在 Blob 中的 avro 文件是事件中心捕获函数的结果。我必须使用 Azure 数据工厂的移动数据流将数据从 Azure blob 移动到 Azure sql db。
-
我试图将一个Azure Blob存储容器挂载到一个DataBricks实例上，虽然挂载确实有效，但它似乎没有使用存储容器。 我在这里漏掉了什么？