在 Pig 中使用蜂巢表在镶木地板上

Question

我试图创建一个Hive表与模式字符串，字符串，双在包含两个拼花文件的文件夹上。第一个拼花文件模式是字符串，字符串，双，第二个文件的模式是字符串，双，字符串。

CREATE EXTERNAL TABLE dynschema (
 trans_date string,
 currency string,
 rate double) 
STORED AS PARQUET
LOCATION '/user/impadmin/test/parquet/evolution/';

我正在尝试使用pig(0.14)脚本中的hive表。

 A = LOAD 'dynschema' USING org.apache.hive.hcatalog.pig.HCatLoader();

DUMP A;

但我得到了错误

java.lang.UnsupportedOperationException：无法检查org.apache.hadoop.hive.serde2.io.DoubleWritable

我怀疑这是由于第二个文件的模式与表模式不同，因为第一个文件的拆分已成功读取，但在读取第二个文件的拆分时发生此异常。

我还查看了< code > HCatRecordReader 代码，发现了这段代码

DefaultHCatRecord dr = new DefaultHCatRecord(outputSchema.size());
  int i = 0;
  for (String fieldName : outputSchema.getFieldNames()) {
    if (dataSchema.getPosition(fieldName) != null) {
      dr.set(i, r.get(fieldName, dataSchema));
    } else {
      dr.set(i, valuesNotInDataCols.get(fieldName));
    }
    i++;
  }

在这里，我看到了从数据模式到输出模式的转换逻辑，但是在调试时，我发现两种模式没有区别。

请帮我找一下，

>

Pig 支持从基于具有不同架构的多个 Parquet 文件创建的配置单元表中读取数据的情况。

如果是，如何做到这一点。

Answer 1

如果您的文件具有两种不同的模式，以下内容似乎是合理的：

1. 根据文件具有的架构拆分文件
2. 用它们制作桌子
3. 如果需要，加载各个表并将其存储到超级表中