从两个文件连接Hadoop数据-如何强制映射器读取特定文件

Question

我正试图在hadoop中编写一个数据连接映射Reduce作业。我觉得我很接近，但我有一个问题，阻止地图1馈入地图2。

我有两个映射器和一个减少，并试图强制Map1从一个文件读取，同时强制Map2从另一个文件读取。我想在减少器中解析结果以格式化连接输出。

我知道默认情况下，当在作业中链接映射器时，作业的输出将是下一个作业的输入，我知道这可以被覆盖，但不成功。来自 map1 的数据被确认将馈送到 map2 中。

这就是我认为应该指定单个映射器的输入路径的方式：

        //Setting Configuration for map2
        JobConf map2 = new JobConf(false);
        String[] map2Args = new GenericOptionsParser(map2, args).getRemainingArgs();
        FileInputFormat.setInputPaths(map2, new Path(map2Args[1]));
        ChainMapper.addMapper(  conf,
                                Map2.class,
                                LongWritable.class,
                                Text.class,
                                Text.class,
                                Text.class,
                                true,
                                map2);

< code>conf是主作业配置，而< code>args由3个值组成。第一个值是输入文件，第二个值是输入文件，第三个值是预期的输出文件。

在hadoop中处理数据连接和多个映射器时，为单个映射器指定输入路径的正确方法是什么？

Answer 1

这种情况可以通过使用多输入格式来解决。使用这种输入格式，我们可以读取两个不同格式的文件，两者结合的结果将用于简化工作。

以下链接中给出了概念和示例的简要说明。

https://github.com/subbu-m/MultipleInputFormat

我希望这些信息能有所帮助。