从Databricks中加载雪花改变表结构

Question

我正在做一些POC来从Databrics中的dataframe中加载雪花表。我已经成功地加载了表，但是它改变了表的结构。

CREATE OR REPLACE TABLE FNT_DAYS
(
    FNT_DT_PK TIMESTAMP_NTZ NOT NULL,
    OPEN_DT_FLG VARCHAR(1),
    HOLIDAY_DT_FLG VARCHAR(1),
    LOAD_USR VARCHAR(10)
);

ALTER TABLE FNT_DAYS ADD CONSTRAINT FNT_DAYS_PK PRIMARY KEY (FNT_DT_PK);

CREATE OR REPLACE TABLE FNT_DAYS
    (
        FNT_DT_PK TIMESTAMP_NTZ,
        OPEN_DT_FLG VARCHAR(16777216),
        HOLIDAY_DT_FLG VARCHAR(16777216),
        LOAD_USR VARCHAR(10)
    );

请注意，主键约束消失了，FNT_DT_PK字段不再为not NULL，最后，每个VARCHAR字段的数据类型长度都更改为16777216。

我在Databricks中的python代码非常简单：

%python

options = dict(sfUrl="mysnflk.snowflakecomputing.com",
               sfUser="me",
               sfPassword="******",
               sfDatabase="SNF_DB",
               sfSchema="PUBLIC",
               sfWarehouse="SNF_WH")

df = spark.sql("select * from exc.test")

df.write \
  .format("snowflake") \
  .mode("overwrite") \
  .options(**options) \
  .option("dbtable", "FNT_DAYS") \
  .save()

你知道为什么在雪花中改变了表的结构吗？

Answer 1

如果查看Snowflake中的query_history，是否看到df.write命令正在重新创建表？它似乎是在重新创建表，并使用dataframe的DataType来定义新表。我不知道到底是什么原因造成的，但我确实看到雪花示例(https://docs.Snowflake.net/manuals/user-guide/spark-connector-use.html#id1)在您的模式下有一些稍微不同的语法。

我还应该注意到那些varchar场的长度不会在雪花中以任何方式伤害你。长度不影响存储或性能，这些长度意味着连接器实际上只是使用VARCHAR作为数据类型，而没有指定长度。此外，对PK的约束没有强制执行，所以不确定这对你有多重要。我唯一关心的是你的不是空的，雪花确实强制执行。