将所有映射器中遇到的最大键作为参数传递给下一个作业

Question

我有一系列Map/Reduce作业：

Job1将带有时间戳的数据作为键，将一些数据作为值并对其进行转换。

对于Job2，我需要传递Job1中所有映射器的最大时间戳作为参数。（我知道如何将参数传递给映射器/简化器）

我可以跟踪Job1的每个映射器中的最大时间戳，但如何在所有映射器中获得最大时间戳并将其作为参数传递给Job2呢？

Answer 1

没有办法2个地图可以互相交谈，所以只有地图的工作(job1)不能得到你的全局最大值。然而，我可以想到以下两种方法。

我假设您的job1目前是一个仅有map的工作，并且您正在从map本身编写输出。

a.更改映射器，使用MultipleOutputs而不是Context或outputCollector写入主输出。使用Context.write（）发出附加的（键，值）对作为（常量，时间戳）。这样，只将（常量，时间戳）对洗牌为reducer。添加一个对max进行caliculated的reducer。在接收到的值中。运行作业，将简化器的数量设置为1。从映射器写入的输出将给出原始输出，而从简化器写入的输出将给出全局最大值。时间戳。

B.在job1中，写出最大值。在每个映射器中的时间戳作为输出。您可以在cleanup（）中这样做。使用MultipleOutputs写入原始输出以外的文件夹。一旦job1完成，假设在job1中有“X”个映射器，输出文件夹中就有“X”个部件文件。您可以在该文件夹上执行getmerge操作，将所有部件文件放到一个本地文件中。该文件将有“X”行，每行包含一个时间戳。您可以使用独立的java程序读取该文件，找到全局最大值。时间戳并将其保存在某个本地文件中。使用distrib缓存将该文件共享到job2或传递全局最大值。作为参数。