Hadoop流媒体“cat”和“wc”示例——“cat”映射器和“wc”缩减器实际上是如何工作的

Question

我的问题是。Apache Hadoop在其文档中提到了以下一个Hadoop流的示例代码：

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper /bin/cat \
-reducer /bin/wc

现在我向这个流媒体提供一个文本文件。假设，文本文件只包含以下两行：

This is line1
It becomes line2

hadoop流媒体命令工作得很好，没有问题。

但我无法回答以下问题，尽管我在网上多次阅读了上述链接材料和其他例子。假设只有一个映射器和一个减速机：

1. 据我所知，Mapper获取（键、值）对作为输入。在上述两行中，什么是关键，什么是价值

我知道这些都是非常基本的问题，但我一次又一次地陷入困境，无法得到正确的答案。我会感激你的帮助。

谢谢

Answer 1

在上述两行中，什么是关键，什么是价值。

键是行的偏移量。值是整行文本

映射器同时作用于键和值

我相信，映射器的输出对于每一行都是相同的，或者至少是（null，line）。

wc将对每个唯一的键进行操作，因此如果只得到一个结果作为输出，那么输入很可能是（null，[“这一行”，“它变成了第2行]），并且计算值列表