雪花在拼花地板上不是按柱分割的

Question

关于雪花的新功能--推断模式表函数，我有一个问题。INFER模式函数在parquet文件上执行得很好，并返回正确的数据类型。但是，当parquet文件被分区并存储在S3中时，INFER模式的功能与pyspark Dataframes不同。

在DataFrames中，分区文件夹名称和值作为最后一列读取；在雪花推断模式中有没有一种方法可以达到同样的结果？

示例：

示例：{“AGMT_GID”：1714844883,“AGMT_Trans_GID”：640481290,“DT_Received”：“20 302”}

在这种情况下，snowflake infer模式只提供了三列；但是，在Pyspark dataframe中读取相同的文件会打印所有四列。

我想知道雪花中是否有一个变通方法来读取一个分区的拼花文件。

Answer 1

在处理分区的parquet文件时，用雪花处理这个问题。此问题不仅发生在infer_schema中。以下流不会将按列分区作为雪花中的列扣除：

• 从拼花板复制到表中
• 从拼花图合并到表
• 从拼花地板中选择
• infer_schema from parquet

Snowflake将parquet文件视为文件，忽略文件夹名称中的元信息。Apache Spark智能地扣除分区列。

到目前为止，Snowflake元数据只提供

• metadata$filename-当前行所属的分段数据文件的名称。包括该阶段中数据文件的路径。
• 元数据$file_row_number-每个记录的行号

我们可以这样做：

    select $1:normal_column_1, ..., METADATA$FILENAME  
        FROM
            '@stage_name/path/to/data/' (pattern => '.*.parquet')
    limit 5;

METADATA$FILENAME 
----------
path/to/data/year=2021/part-00020-6379b638-3f7e-461e-a77b-cfbcad6fc858.c000.snappy.parquet

sql prettyprint-override">    select 
        regexp_replace(METADATA$FILENAME, '.*\/year=(.*)\/.*', '\\1'
        ) as year
        $1:normal_column_1,  
    FROM
            '@stage_name/path/to/data/' (pattern => '.*.parquet')
    limit 5;

null

• 添加内容与按列内容分区相同的重复列
• 这应该发生在写信给拼花之前。因此parquet文件将具有以下列内容。

df.withColumn("partition_column", col("col1")).write.partitionBy("partition_column").parquet(path)

• 使用这种方法，如果我们这样做一次，在所有的parquet用法中（复制、合并、选择、推断），新列将开始出现。

方法3

null