映射器和组合器的hadoop中的不同上下文类型

Question

你好，我正在尝试实现java hadoop应用程序。我想制作映射器

我在主类中有这样的配置:

public static void main(String[] args) throws Exception {
 Configuration conf = new Configuration();
 Job job = Job.getInstance(conf, "NY statistics");
 job.setJarByClass(NYStatisticsOwnWritableComparable.class);
 job.setMapperClass(TokenizerMapper.class);
 job.setCombinerClass(Combiner.class);
 job.setReducerClass(IntSumReducer.class);
 job.setOutputKeyClass(NaicsAreaPair.class);
 job.setOutputValueClass(LongWritable.class);
 //job.setPartitionerClass(Rozdelovac.class);
 FileInputFormat.addInputPath(job, new Path(args[0]));
 FileOutputFormat.setOutputPath(job, new Path(args[1]));
 //job.setNumReduceTasks(3);
 System.exit(job.waitForCompletion(true) ? 0 : 1);
}

在这里，我必须说将使用哪个输出键和输出值。有没有可能将其设置为 ok 对于映射器使用此输出键和值，但对于组合器使用不同的？

非常感谢您的回答

Answer 1

为什么要使用组合器？组合器的目的是通过减少通过网络发送的数据来实现“性能”。有几个限制，比如输入/输出类型必须与映射器输出（键/值）类型/减缩器输入（键/数值）类型匹配，它执行的函数应该是关联的和可交换的。请参阅此处的示例http://www.philippeadjiman.com/blog/2010/01/14/hadoop-tutorial-series-issue-4-to-use-or-not-to-use-a-combiner/

你想要什么作为你的组合器，让它成为减速器

Answer 2

它不是。组合器输出必须与映射器输出相同。