在Hadoop MapReduce中，有可能有多个不同映射器的多个输入吗？

Question

在Hadoop MapReduce中是否有可能使用多个不同的映射器有多个输入？每个映射器类都在一组不同的输入上工作，但它们都会发出由同一个减速器使用的键值对。请注意，我不是在这里谈论链接映射器，我是在谈论并行运行不同的映射器，而不是顺序运行。

Answer 1

我将用一个问题、两个答案和一个反建议来回答你的问题。

问题是：与串行运行异构映射作业相比，并行运行异构映射任务有什么好处，可以输出可以适当混洗的同质结果？这样做是为了避免两次传递相同的记录，一次使用身份图？

第一个答案是同时安排两个仅映射器作业，每个作业位于队列的一半上（或任何与输入数据大小最匹配的比率），输出同构结果，然后执行联接的仅化简器作业。

第二个答案是创建一个自定义InputFormat，它能够识别和转换异构输入的两种风格。这非常丑陋，但它将允许您避免第一个建议的不必要的身份映射。

反建议是不要使用Chris答案中已弃用的Hadoop API。Hadoop非常年轻，但API正在围绕“新”风格稳定下来。您最终将达到版本锁定。

Answer 2

这称为连接。

您想在mapred.*中使用映射器和还原器软件包（较旧，但仍受支持）。较新的包（mapreduce.*）只允许一个映射器输入。使用mapred软件包，您可以使用MultipleInputs类来定义连接：

MultipleInputs.addInputPath(jobConf, 
                     new Path(countsSource),       
                     SequenceFileInputFormat.class, 
                     CountMapper.class);
MultipleInputs.addInputPath(jobConf, 
                     new Path(dictionarySource), 
                     SomeOtherInputFormat.class, 
                     TranslateMapper.class);

jobConf.setJarByClass(ReportJob.class);
jobConf.setReducerClass(WriteTextReducer.class);

jobConf.setMapOutputKeyClass(Text.class);
jobConf.setMapOutputValueClass(WordInfo.class);

jobConf.setOutputKeyClass(Text.class);
jobConf.setOutputValueClass(Text.class);