如何从Databricks Delta表中删除列？

Question

我最近开始发现Databricks，并面临需要删除增量表的某个列的情况。当我使用后格雷SQL时，它就像

ALTER TABLE main.metrics_table 
DROP COLUMN metric_1;

我正在浏览有关删除的数据砖文档，但它仅涵盖与谓词匹配的行。

我还找到了关于DROP数据库、DROP函数和DROP表的文档，但对于如何从delta表中删除列却一无所知。我在这里错过了什么？是否有标准的方法从delta表中删除列？

Answer 1

我想出的一种方法是首先删除表，然后使用覆盖Schema选项从数据帧重新创建表为true。您还需要使用 mode = 覆盖选项，以便它使用数据帧包含的新架构重新创建物理文件。

步骤分解:

1. 读取数据框中的表格。
2. 在最终表格中删除不需要的列
3. 删除从中读取数据的实际表。
4. 现在将列作为相同的表名删除后保存新创建的数据框。
5. 但请确保在将数据框保存为表时使用两个选项…（. mode（"overwrite"）. ption（"overwriteSchema"，"true"））

以上步骤将帮助您在删除额外列的情况下重新创建相同的表。希望它能帮助面临类似问题的人。

Answer 2

使用以下代码：

df = spark.sql("Select * from <DB Name>.<Table Name>")

df1 = df.drop("<Column Name>")

spark.sql("DROP TABLE if exists <DB Name>.<TableName>_OLD")

spark.sql("ALTER TABLE <DB Name>.<TableName> RENAME TO <DB Name>.<Table Name>_OLD ")

df1.write.format("delta").mode("OVERWRITE").option("overwriteSchema", "true").saveAsTable("<DB Name>.<Table Name>")

Answer 3

Databricks表上没有删除列选项:https://docs . data bricks . com/spark/latest/spark-SQL/language-manual/alter-table-or-view . html # delta-schema-constructions

请记住，与关系数据库不同，您的存储中有物理拼花文件，您的“表”只是应用于它们的模式。

在关系世界中，您可以更新表元数据以轻松删除列，在大数据世界中，您必须重写基础文件。

从技术上讲，parquet可以处理模式演化(参见parquet格式的模式演化)。但是Delta的Databricks实现却没有。可能太复杂了，不值得。

因此，这种情况下的解决方案是创建一个新表，并从旧表中插入想要保留的列。