在Database ricks上的Delta Live Table上指定列名和架构

Question

我正在使用sqlapi玩弄databricks delta活动表特性。这是我迄今为止的声明：

--Create Bronze Landing zone table
CREATE STREAMING LIVE TABLE raw_data
COMMENT "mycomment"
TBLPROPERTIES ("quality" = "bronze")
AS 
SELECT * FROM cloud_files('/mnt/path/here','csv', 
map(
'cloudFiles.inferColumnTypes','true',
'option.recursiveFileLookup','true', 
'header','false',
))

我的数据，它的读数没有标题，但我想让它使用inferSchema选项推断数据类型。但我需要以某种方式至少为它提供列名称。有一个选项可以为它提供一个显式架构，但是由于这是一个登陆表，我希望将这种开销的负担降到最低。spark文档非常稀疏，数据砖文档甚至更糟。有谁知道我是否可以做到这一点？

Answer 1

注意-当您更新增量表模式时，从该表读取的流将终止。如果你想让数据流继续，你必须重新启动它。

Delta Lake 可以作为 DML 事务（追加或覆盖）的一部分自动更新表的架构，并使架构与正在写入的数据兼容。

Delta Lake自动验证正在写入的DataFrame的架构是否与表的架构兼容。Delta Lake使用以下规则来确定从DataFrame写入表是否兼容：

•所有DataFrame列都必须存在于目标表中。如果DataFrame中的列不存在于表中，则会引发异常。表中存在但不存在于DataFrame中的列设置为空。

•DataFrame列数据类型必须与目标表中的列数据类型匹配。如果不匹配，将引发异常。

•DataFrame列名不能仅因大小写而不同。这意味着不能在同一个表中定义“Foo”和“Foo”等列。虽然您可以在区分大小写或不区分大小写（默认）模式下使用Spark，但Parquet在存储和返回列信息时区分大小写。Delta Lake保留大小写，但在存储模式时不敏感，并具有此限制以避免潜在的错误、数据损坏或丢失问题。Delta Lake支持DDL显式添加新列，并支持自动更新模式。

如果您指定了其他选项，例如分区通过，并结合附加模式，Delta Lake会验证它们是否匹配，并因任何不匹配而抛出错误。当不存在分区通过时，会自动跟随存量数据的分区进行附加。

有关详细信息，请参阅此链接