两个相等的组合键不能到达同一个减速器

Question

我正在用MapReduce框架用Java制作一个Hadoop应用程序。

对于输入和输出，我只使用文本键和值。在减少到最终输出之前，我使用一个合并器来做额外的计算。

但我有一个问题，钥匙不去同一个减速器。我在组合器中创建和添加了这样的键/值对:

public static class Step4Combiner extends Reducer<Text,Text,Text,Text> {
    private static Text key0 = new Text();
    private static Text key1 = new Text();

        public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
                key0.set("KeyOne");
                key1.set("KeyTwo");
                context.write(key0, new Text("some value"));
                context.write(key1, new Text("some other value"));
        }

}   

public static class Step4Reducer extends Reducer<Text,Text,Text,Text> {

            public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
                System.out.print("Key:" + key.toString() + " Value: ");
                String theOutput = "";
                for (Text val : values) {
                    System.out.print("," + val);
                }
                System.out.print("\n");

                context.write(key, new Text(theOutput));
            }

}

基本上，我创建的工作如下：

Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

Job job4 = new Job(conf, "Step 4");
job4.setJarByClass(Step4.class);

job4.setMapperClass(Step4.Step4Mapper.class);
job4.setCombinerClass(Step4.Step4Combiner.class);
job4.setReducerClass(Step4.Step4Reducer.class);

job4.setInputFormatClass(TextInputFormat.class);
job4.setOutputKeyClass(Text.class);
job4.setOutputValueClass(Text.class);

FileInputFormat.addInputPath(job4, new Path(outputPath));
FileOutputFormat.setOutputPath(job4, new Path(finalOutputPath));            

System.exit(job4.waitForCompletion(true) ? 0 : 1);

减速机打印的标准输出如下：

Key:KeyOne Value: ,some value
Key:KeyTwo Value: ,some other value
Key:KeyOne Value: ,some value
Key:KeyTwo Value: ,some other value
Key:KeyOne Value: ,some value
Key:KeyTwo Value: ,some other value

这是没有意义的，因为键是相同的，因此它应该是2个还原器，其中3个值是相同的

希望你能帮我弄清这件事：）

Answer 1

请在组合器中尝试以下操作：

context.write(new Text("KeyOne"), new Text("some value"));
context.write(new Text("KeyTwo"), new Text("some other value"));

我看到这种情况发生的唯一方法是，如果一个组合器中的key0不等于另一个组合器中的key0。我不确定如果键指向完全相同的实例，它会如何表现（如果您将键设为静态，则会发生这种情况）。

Answer 2

这很可能是因为您的组合器同时在映射和化简阶段运行（一个鲜为人知的“功能”）。

基本上，您正在修改组合器中的键，当映射输出在化简器中合并在一起时，该键可能会运行，也可能不会运行。在运行组合器（reduce side）后，键通过分组比较器馈送，以确定迭代传递给 reduce 方法的回值（我在这里绕过简化阶段的流方面 - 可迭代对象没有一组或值列表支持，如果分组比较器破坏了当前键和最后一个键相同，则对迭代器的更多调用（）.next（）返回 true）

你可以尝试通过检查上下文来检测当前的组合器相位侧（映射或减少）（有一个 Context.getTaskAttempt（）.isMap（） 方法，但我有一些记忆，这也存在一些问题，甚至可能在某个地方有一个关于此的JIRA票证）。

底线是，不要修改组合器中的键，除非你能找到绕过这个行为的方法，如果组合器运行在reduce端的话。

编辑以便调查@Amar的评论，我将一些代码（pastebin链接）放在一起，其中添加了一些详细的比较器、组合器、还原器等。如果您运行单个映射作业，则在还原阶段，不会运行任何组合器，并且映射输出将不会再次排序，因为它已经假定已排序。

假设在发送到组合器类之前对其进行排序，并且假设键将原封不动地出来-因此仍然是排序的。请记住，组合器旨在组合给定键的值。

因此，对于单个映射和给定的组合器，还原器以键一、键二、键一、键二、键二的顺序查看键。分组比较器看到它们之间的转换，因此您得到了对reduce函数的6个调用

如果使用两个映射器，则缩减器知道它有两个已排序的段（每个映射一个），因此在缩减之前仍然需要对它们进行排序-但由于段的数量低于阈值，因此排序是作为内联流排序完成的（同样，假定段已排序）。两个映射器的输出仍然是错误的（减少阶段的10条记录输出）。

因此，同样，不要修改合并器中的密钥，这不是合并器的用途。