如何输出键，值对，以便1小时内的时间最终在MapReduce中使用Python的化简器中？

Question

我需要处理一个非常大的文本文件，格式如下：

ID \t time \t duration \t Descripthtml" target="_blank">ion \t status

我想利用MapReduce来帮我处理这个文件。我知道MapReduce基于键、值对工作。Mapper将输出键和一些值，MapReduce将确保所有相同的键都出现在1个reducer中。

我想在缩减器中结束的是有时间的行，它们之间的时间间隔在1小时以内。然后在reducer中，我想访问所有其他信息，如ID、持续时间、状态等，以做其他事情。所以我猜要输出的值是一个列表什么的？

我有一些Python代码来处理输入数据。mapper.py

#!/usr/bin/env python
import sys
import re
for line in sys.stdin:
   line=line.strip()
   portions=re.split(r'\t+',line)
   time=portions[1]
#output key,value by print to stdout for reducer.py to read in.

请注意，我的数据集中的时间已经是POSIX时间格式。

我该如何在Mapper中输出键/值对来做到这一点呢？

我对MapReduce/Hadoop还是很陌生，感谢所有的帮助。提前感谢！

Answer 1

这里有一个策略：

>

从Mapper：发出每个记录的三个副本并使用辅助排序：

（（复合键），值）=

• （（消息小时-一小时，当前消息的精确时间），消息）
• （（消息小时，消息的精确时间），消息）
• （（消息小时一小时，准确的消息时间），消息）

现在：您需要标准二次排序：

• set分区程序只到密钥的前半部分（消息小时）
• setGrouping比较器只到密钥的前半部分（消息小时）
• setSorting比较器到（消息小时，消息的精确时间）

在缩减器中:每个缩减器组在消息的精确时间的- 60到120分钟内接收所有消息。缩减器以排序的顺序看到所有的“消息的精确时间”。因此，您可以在每个reducer中保持一个滑动窗口，显示过去60分钟内查看的所有邮件

注意，以上假设60分钟的消息数据可以容纳在单个reducer任务的内存中。否则，您需要将数据写到磁盘上，作为窗口功能的一部分。

更新操作要求进一步澄清窗口，所以我们来了。

从映射器发出的键的角度考虑:每个输入记录有三个键。现在在Reducer上，这意味着每个输入记录出现在三个不同的组中。其原因是我们需要考虑每个输入记录的超前和滞后记录。现在，每个组都可以访问最早记录60分钟内以及最新记录60分钟内的所有输入记录。因为记录是按每小时最早的一秒来分组的:这意味着-60(最小)到120(最大)与属于给定小时组的任何记录相比。