使用新API将Hadoop MapReduce中的作业链接在一起

Question

我有一个MapReduce作业，我需要在运行之前处于某种状态。我尝试使用组合器来实现我想要的，但任务挂在“启动地图输出的同花顺”上。正因为如此，我决定转移到一个链接的工作流，这将把两个工作结合起来做需要做的事情。

我在网上看过例子，例如雅虎的文档，但我无法找到一种方法来做到这一点，使用较新的API，并希望有一个如何做到这一点的例子。下面是我的流程：

工作1：

• 地图：在某些文本中阅读
• Reduce:根据某些条件进行Reduce，并输出新文本

null

Answer 1

在配置和提交作业的java代码中（通常是ToolRunner子类中的run（）方法），用以下命令提交第一个作业：

job.waitForCompletion(true);

在配置和提交第二个作业之前。此方法将等到作业完成后再返回。