当减速器的输出值为空时，如何使用合并器？

Question

当我试图在我的MR工作中使用合并器时，我得到了下面的异常

Java . lang . nullpointerexception < br > at org . Apache . Hadoop . mapred . ifile＄writer . append(ifile . Java:193)< br > at org . Apache . Hadoop . mapred . task＄combineoutputcollector . collect(task . Java:1315)

位于org . Apache . Hadoop . mapred . task＄newcombinerrrunner＄output converter . write(task . Java:1632)

原因是，我在化简器类中使用 null 作为我的输出值。

public  static class reducer extends Reducer<Text,IntWritable,Text,IntWritable>{
            public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException{
                context.write(key, null);
            }
    }

当我删除组合器类作业.set组合器类（化简器.class）;工作正在取得成功。

如何实现组合器，我需要相同的减速机输出ie，只有键作为输出？

Answer 1

这是不可能实现的。问题是IFile.java中的以下代码：

public void append(K key, V value) throws IOException {
    .....

    if (value.getClass() != valueClass)
        throw new IOException("wrong value class: "+ value.getClass()
                          +" is not "+ valueClass);

    .....

在< code>append()函数中，有一个检查:

if (value.getClass() != valueClass)

由于您将< code>null作为值传递，因此当< code>null值尝试< code>getClass()时，会引发< code > NullPointerException :

value.getClass()

因此，即使您使用＜code＞NullWritable

您应该通过传递0（零）来管理，而不是传递null。