通过提供表名而不是表路径，将spark数据帧写入现有增量表

Question

我正在尝试将火花数据帧写入现有的增量表中。

我有多个场景可以将数据保存到不同的表中，如下所示。

场景-01：

我有一个现有的delta表，我必须使用选项＜code＞mergeSchema＜/code＞将数据帧写入该表，因为模式可能会随每次加载而改变。

我通过提供delta表路径对下面的命令执行相同的操作

finalDF01.write.format("delta").option("mergeSchema", "true").mode("append") \
  .partitionBy("part01","part02").save(finalDF01DestFolderPath)

我只想知道是否可以通过提供现有的增量表名而不是增量路径来实现这一点。

这已通过更新数据写入命令得到解决，如下所示。

finalDF01.write.format("delta").option("mergeSchema", "true").mode("append") \
  .partitionBy("part01","part02").saveAsTable(finalDF01DestTableName)

1. 这是正确的路吗？

场景 02：

如果记录已经存在，我必须更新现有的表，如果不存在，则插入新记录。为此，我目前正在做如下所示。

spark.sql("SET spark.databricks.delta.schema.autoMerge.enabled = true") 
DeltaTable.forPath(DestFolderPath)
   .as("t")
   .merge(
      finalDataFrame.as("s"),
         "t.id = s.id AND t.name= s.name")
       .whenMatched().updateAll()
       .whenNotMatched().insertAll()
   .execute()

我尝试使用以下脚本。

destMasterTable.as("t")
      .merge(
         vehMasterDf.as("s"),
          "t.id = s.id")
       .whenNotMatched().insertAll()
       .execute()

但得到以下错误（即使使用别名而不是 as）。

error: value as is not a member of String
    destMasterTable.as("t")

最好提供表名而不是表路径，以防我们以后更改表路径不会影响代码。我在databricks文档中没有看到任何地方提供表名以及< code>mergeSchema和< code>autoMerge。这样做可能吗？

Answer 1

要将现有数据用作表而不是路径，您需要从一开始就使用＜code＞saveAsTable＜/code＞，或者使用SQL命令CREATE table using将现有数据注册到Hive元存储中，如下所示（语法可能略有不同，具体取决于您是在Databricks还是OSS Spark上运行，取决于Spark的版本）：

CREATE TABLE IF NOT EXISTS my_table
USING delta
LOCATION 'path_to_existing_data'

之后，您可以使用saveAsTable。

对于第二个问题 - 看起来德斯特主表只是一个字符串。要引用现有表，您需要使用来自增量表对象 （doc） 的函数 forName：

DeltaTable.forName(destMasterTable)
  .as("t")
  ...