哈道夫 - 流式传输时的映射功能键

Question

我是Hadoop的新手，我遇到了一些我无法用Google找到的东西。

在Java版本的“hello world”Hadoop程序中，mapper函数接受一个键、值对，这符合我对MapReduce工作方式的理解。根据我的理解，在字数统计示例中，关键是行号，值是文本本身的行:

public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    //Tokenize the line and print out token,1 for each
}

然而，在同一程序的python流示例中，python映射器似乎没有读取密钥：

#!/usr/bin/env python
import sys
# input comes from STDIN (standard input)
for line in sys.stdin:
    # remove leading and trailing whitespace
    line = line.strip()
    # split the line into words
    words = line.split()
    for word in words:
        print '%s\t%s' % (word, 1)

python mapper似乎只能从stdin中读取值部分。我怎样才能在python mapper中获得键(行号)？

提前感谢！！

Answer 1

在这里，您没有使用任何hadoop框架函数，例如map，它将字节偏移量作为行号作为第一个参数（框架库函数在调用map函数时传递此值）。由于您正在从标准输入读取，因此您必须编写自定义实现来打印行号。类似这样的东西如何在python中的文件中获取字节偏移量

希望这有帮助