Mapreduce中的键是按值传递还是按引用传递？

Question

我创建了一个MapReduce作业，该作业将计算键的数量，然后根据它们出现的次数对它们进行排序

处理输入时，如

1A99
1A34
1A99
1A99
1A34
1A12

最终目标将是一个类似于

1A99 3
1A34 2
1A12 1

我的地图阶段输出a

我的减少阶段有3个阶段：设置，我初始化一个数组列表来保存我的

数组列表中的值是我创建的一个对象myObject的值，它将文本和Int保存在一个元组中可写，我发现一个奇怪的地方是当我这样做的时候

new myObject(key, count)
    

• key是传递到reducer的键，count是我通过求和值创建的int-writable（Iterable int writable）

最后，数组中的所有键都是相同的键，而只有计数不同。

如果我真的这么做了

new myObject(new Text(key), count)

从本质上讲，复制钥匙是可行的。

我找不到任何关于从映射器传递到减速器的键是否通过引用的信息，但这似乎是唯一合理的解释为什么会发生这种情况。

Answer 1

如果不看实际代码，理解实际问题有点困难。然而，您似乎不需要reduce阶段的第1阶段和第3阶段。减速机将获得一个键（Text）和一个值列表（Iterable）

以下是数据集的处理方式：

Raw data
1A99
1A34
1A99
1A99
1A34
1A12

Some number of mappers will process this, say 3:
input to mapper 1
1A99
1A34
1A99

input to mapper 2
1A99

input to mapper 3
1A34
1A12

output of mapper 1
1A99, 1
1A34, 1
1A99, 1

output of mapper 2
1A99, 1

output of mapper 3
1A34, 1
1A12, 1

intermediate shuffle phase collects all values for keys
1A99, (1,1,1)
1A34, (1, 1)
1A12, (1)

Now, say we force one reducer (though there may be more than one)

reducer 1 input and output
1A99, (1,1,1) -> 1A99, 3
1A34, (1, 1) -> 1A34, 2
1A12, (1) -> 1A12, 1

可能有帮助的参考：

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Example:_WordCount_v1.0