带ResultSerialization的MultableInput

Question

我理解在使用单个输入表的情况下使用结果序列化。

TableMapReduceUtil.initTableMapperJob( tableName, scan, Mapper.class, Text.class, Result.class, job );

有什么想法，我如何实现相同的同时使用MultiTableInput（多扫描作为输入）？

TableMapReduceUtil.initTableMapperJob( scans, SummaryMapper.class, Text.class, Result.class, job );

运行MR作业时出现以下错误：

INFO MapReduce.job：任务Id：尝试_1492475015807_0003_M_000003_2,状态：失败错误：java.lang.nullPointerExcepthtml" target="_blank">ion在org.apache.hadoop.mapred.maptask$MapOutputBuffer.init（maptask.java:988)在org.apache.hadoop.mapred.maptask.createSortingCollector（maptask.java:391)在org.apache.hadoop.mapred.maptask.access$100（maptask.java:80)在

Answer 1

我能熬过这个阶段。我在作业配置中显式指定了ResultSerialization类（但必须在创建作业实例之前完成）。

config.setStrings( "io.serializations", config.get( "io.serializations" ),
                    MutationSerialization.class.getName(), ResultSerialization.class.getName(),
                    KeyValueSerialization.class.getName() );

这是在使用单个输入表初始化映射器时如何指定的。如果我对此有任何进一步的发现，我一定会更新这个答案，以便对其他可能需要它的人有用。