如何在Hadoop中的运行时确定任务是缩减器还是合并器？

Question

如果使用MapReduce执行的操作不是可交换和关联的，则组合器不能与还原器相同。

例如，当计算平均值时，组合器对键的值求和，减法器求和，然后将和除以该键的值总数。组合器的代码只有一点修改。如果您可以将同一个类用于组合器和减速机，并拥有一个可以确定当前任务是组合器还是减速机的代码库，会怎么样？如果它发现它是一个减法器，则它将总和除以计数。

大概是这样的:

protected void reduce(Text keyIn, Iterable<PairWritable> valuesIn,
      Context context)
  throws IOException, InterruptedException {
    double sum = 0.0d;
    long count = 0l;

    for (PairWritable valueIn : valuesIn) {
      sum += valueIn.getSum();
      count += valueIn.getCount();
    }

    if (THIS_IS_A_REDUCER) {
      sum /= count;
    }

    context.write(keyIn, new PairWritable(sum, count));
  }

这样做可能吗？上面的代码< code>THIS_IS_A_REDUCER的和平可以用什么东西代替吗？

我可以从任务尝试ID字符串中确定任务是映射器还是缩减器，但是组合器和缩减器似乎都有相似的字符串模式。

Answer 1

我想你可以询问上下文对象并获取任务ID。然后，一旦你有了ID，映射器（包括合并器）将在名称中有一个“m”，而化简器将在名称中有一个“r”。

要获取任务尝试ID，请使用.getTaskAttentid（）。我认为您应该能够在上下文中执行。gettaskattentid（）来使用它，但我无法确定是否测试它。

Answer 2

虽然我知道这个问题已经解决了，但我有另一个解决方案。我所做的是使我的组合器成为减速机的一个子类。然后在Reducer代码中，我能够测试我是否是组合器子类。

这样做的主要好处是，我需要在Reducer步骤中修改我的键，但不想在合并步骤中改变它(否则我会将同一个转换应用两次)。除此之外，95%的代码都是相同的。

Answer 3

这是一个有缺陷的问题。每当您发现有必要区分哪个减少（）任务调用时。添加一个组合器。例如，你写

public static class Combine extends MapReduceBase implements Reducer<Text, Text, Text, Text> {
public void reduce(Text key, Iterator<Text> message, OutputCollector<Text, Text> output, Reporter reporter) throws IOException {}

public static class Reduce extends MapReduceBase implements Reducer<Text, Text, Text, Text> {
public void reduce(Text key, Iterator<Text> message, OutputCollector<Text, Text> output, Reporter reporter) throws IOException {}

在 main（） 中，您编写

conf.setReducerClass(Reduce.class);
conf.setCombinerClass(Combine.class);