Databricks是否删除delta表？

Question

如何在Databricks中删除Delta表？我在文档中找不到任何信息……也许唯一的解决方案是使用magic命令或dbutils删除文件夹“delta”中的文件：

%fs rm -r delta/mytable?

编辑：

为了澄清，我在这里举了一个非常基本的例子。

例子：

#create dataframe...
from pyspark.sql.types import *

cSchema = StructType([StructField("items", StringType())\
                      ,StructField("number", IntegerType())])

test_list = [['furniture', 1], ['games', 3]]

df = spark.createDataFrame(test_list,schema=cSchema)

并将其保存在增量表中

df.write.format("delta").mode("overwrite").save("/delta/test_table")

然后，如果我尝试删除它……这是不可能的删除表或类似的行动

%SQL
DROP TABLE 'delta.test_table'

其他选项，如删除表“增量/测试表”等...

Answer 1

基本上在数据库中，表有两种类型——托管和非托管

1.托管 - Spark同时管理数据和元数据的表，数据砖将元数据和数据存储在您账户的DBFS中。

2.非托管数据块仅管理元数据，但数据不由数据块管理。

因此，如果您为托管表编写drop查询，它将删除该表并删除数据，但是在非托管表的情况下，如果您编写drop查询，它将简单地删除指向表位置的符号链接指针(表的元信息),但不会删除您的数据，因此您需要使用rm命令从外部删除数据。

欲了解更多信息： https://docs.databricks.com/data/tables.html

Answer 2

您可以使用sql命令做到这一点。

%sql
DROP TABLE IF EXISTS <database>.<table>

Answer 3

如果您想完全删除该表，那么可以使用dbutils命令:

dbutils.fs.rm('/delta/test_table',recurse=True)

据我所知，您保存的增量表位于blob存储中。删除连接的数据库表会将其从数据库中删除，但不会从存储中删除。