Azure Databricks -无法创建托管表，关联的位置已经存在

Question

我在Azure Databricks中遇到了以下问题。有时，当我试图将数据帧保存为托管表时:

SomeData_df.write.mode('overwrite').saveAsTable("SomeData")

我收到以下错误：

无法创建托管表(“< code>SomeData”)。关联的位置(' dbfs:/user/hive/warehouse/some data ')已经存在。;"

我过去通过运行%fs rm命令来删除该位置来解决此问题，但现在我使用的是由其他用户管理的群集，我无法再在该位置上运行rm。

目前，我能想到的唯一解决方法是使用不同的表名。

使事情更加奇特的是桌子不存在的事实。当我跑步时：

%sql
SELECT * FROM SomeData

我收到错误：

SQL 语句中的错误： 分析异常： 找不到表或视图： 某些数据;

我该怎么修理它？

Answer 1

此处推荐的所有其他解决方案要么是变通方法，要么不起作用。该模式被指定为覆盖，这意味着您不需要删除或删除数据库或使用旧选项。

相反，在写入表时，请尝试在选项中指定完全限定路径:

df.write \
    .option("path", "hdfs://cluster_name/path/to/my_db") \
    .mode("overwrite") \
    .saveAsTable("my_db.my_table")

Answer 2

这通常发生在集群在写入表时关闭时。Databricks文档中推荐的解决方案：

这个标志删除_STARTED目录，进程恢复到原来的状态，比如可以在笔记本里设置

%py
spark.conf.set("spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation","true")

Answer 3

似乎还有其他一些有同样的问题。

临时解决方法是使用

dbutils.fs.rm("dbfs:/user/hive/warehouse/SomeData/", true)

在重新创建表之前删除它。