mapreduce文件传输实现

Question

如何通过MAP-Reduce实现文件传输？为了实现这一点，我需要在映射器、还原器和作业的输入-输出中设置哪些参数？

Answer 1

假设是纯文本文件，您只需使映射器和还原器输出它们得到的内容。然后输出包含与输入相同的所有行。

void map(LongWriteable key, Text value, Context context) {
    context.write(key, value);
}

void reduce(LongWritable key, Iterable<Text> values, Context context) {
    for (Text t : values) context.write(key, value);
}