如何改变一个现有的增量表的分区？

Question

我在Databricks delta中有一个表，它是按< code>transaction_date分区的。我想将分区列更改为< code>view_date。我尝试删除该表，然后使用< code > PARTITIONED BY(view _ date)创建一个新的分区列。

然而，我的尝试失败了，因为实际文件位于S3中，即使我删除了一个配置单元表，分区也保持不变。是否有任何方法可以更改现有Delta表的分区？或者唯一的解决方案是删除实际数据并用新指示的分区列重新加载它？

Answer 1

正如西尔维奥所指出的，没有必要放弃谈判。事实上，databricks强烈推荐的方法是替换表。

https://docs.databricks.com/sql/language-manual/sql-ref-syntax-ddl-create-table-using.html#parameters

在火花 SQL 中，这可以通过以下方式
轻松完成

REPLACE TABLE <tablename>
  USING DELTA
  PARTITIONED BY (view_date)
AS
 SELECT * FROM <tablename>

修改示例来自：
https://docs.databricks.com/delta/best-practices.html#replace-表的内容顺序模式

Answer 2

实际上，无需删除表或删除文件。您需要做的就是读取当前表，覆盖内容和架构，然后更改分区列：

val input = spark.read.table("mytable")

input.write.format("delta")
  .mode("overwrite")
  .option("overwriteSchema", "true")
  .partitionBy("colB") // different column
  .saveAsTable("mytable")

更新：以前有一个关于时间旅行和分区变化的错误，现在已经修复。