使用ArrayWritable进行序列化似乎很有趣

Question

我正在一起工作ArrayWritable，有时需要检查Hadoop如何序列化ArrayWritable，这是通过设置获得的job.setNumReduceTasks(0)：

0    IntArrayWritable@10f11b8
3    IntArrayWritable@544ec1
6    IntArrayWritable@fe748f
8    IntArrayWritable@1968e23
11    IntArrayWritable@14da8f4
14    IntArrayWritable@18f6235

这是我正在使用的测试映射器：

public static class MyMapper extends Mapper<LongWritable, Text, LongWritable, IntArrayWritable> {

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        int red = Integer.parseInt(value.toString());
        IntWritable[] a = new IntWritable[100];

        for (int i =0;i<a.length;i++){
            a[i] = new IntWritable(red+i);
        }

        IntArrayWritable aw = new IntArrayWritable();
        aw.set(a);
        context.write(key, aw);
    }
}

IntArrayWritable摘自javadoc：ArrayWritable中给出的示例。

import org.apache.hadoop.io.ArrayWritable;
import org.apache.hadoop.io.IntWritable;

public class IntArrayWritable extends ArrayWritable {
    public IntArrayWritable() {
        super(IntWritable.class);
    }
}

我实际上检查了Hadoop的源代码，这对我来说毫无意义。
ArrayWritable不应序列化类名称，并且无法IntWritable使用6/7十六进制值序列化100个数组。该应用程序实际上似乎运行良好，而reducer反序列化了正确的值…发生了什么事？我想念什么？

Answer 1

问题在于，您从MapReduce作业中获得的输出不是该数据的序列化版本。它被翻译成漂亮的打印字符串。

当您将化简器的数量设置为零时，映射器现在将通过输出格式进行传递，该输出格式将格式化您的数据，可能会将其转换为可读的字符串。
它不会像序列化器将要转储的那样将其转储出去。