用V1.11.0编写时，将拼花地板数据加载到雪花云数据库中的问题

Question

我对雪花是新手，但我的公司一直在成功地使用它。

目前正在使用Java parquet-avro V1.10.1使用现有的Avro模式编写Parquet文件。

我已经削减了Avro模式，并发现Avro模式中存在一个MAP类型是导致这个问题的原因。

田地是

    {
      "name": "FeatureAmounts",
      "type": {
        "type": "map",
        "values": "records.MoneyDecimal"
      }
    }

使用Parquet-Tools的Parquet模式示例。

message record.ResponseRecord {
  required binary GroupId (STRING);
  required int64 EntryTime (TIMESTAMP(MILLIS,true));
  required int64 HandlingDuration;
  required binary Id (STRING);
  optional binary ResponseId (STRING);
  required binary RequestId (STRING);
  optional fixed_len_byte_array(12) CostInUSD (DECIMAL(28,15));
  required group FeatureAmounts (MAP) {
    repeated group map (MAP_KEY_VALUE) {
      required binary key (STRING);
      required fixed_len_byte_array(12) value (DECIMAL(28,15));
    }
  }
}

感谢任何协助

Answer 1

逻辑类型Null不能应用于组节点

查找上面的错误，似乎正在使用Apache Arrow的parquet库的一个版本来读取该文件。

然而，仔细观察，真正的问题在于在基于Avro的Parquet Writer实现中使用遗留类型（以下假设使用Java编写文件）。

不幸的是，这是硬编码的行为，没有影响映射类型的配置选项可以帮助为Apache Arrow（扩展为Snowflake）生成正确的文件。在Apache Parquet开发人员发布适当的修复程序之前，您需要使用较旧版本的writer。