mapreduce条件概率

Question

>

每对项目的共现，Count(A,B)=#html" target="_blank">事务包含A和B，条件概率Prob(BA)=Count(A,B)/Count(A).

每三个项目的共现，Count(A,B,C)=#事务包含A和B，条件概率Prob(AB,C)=Count(A,B,C)/Count(B,C)

每行记录一个事务（一起购买的一组项）：输入数据集是具有以下格式的事务数据：

25 52 164 240 274 328 368 448 538 561 630 687 730 775 825 834 39 120 124 205 401 581 704 814 825 825 857 857 937 954 964 153 229 262 283 283 883 883 966 966 978 268 26 104 143 320 569 620 853 883 970 979 227 658 658 682 782 803 883 883 970 979 227 192 208 272 272 882 803 882 882 882 882 882 882 882 882 882 882 882 882 882 883 883 883 970 979 227 192 192 882 882 882 882 882 882 882 882 882 882 882 882 882 882=========================================================================================================================

Answer 1

对你的问题的简短回答是，你不能在映射器之间直接通信······这与map-reduce计算模式背道而驰。相反，您需要构造您的算法，以便map阶段输出的键值可以被reducer阶段以智能的方式消耗和聚合。

从你在问题中的背景信息，很明显，你明白，计算你感兴趣的条件概率实际上只是一个计算练习。这里通常的模式是在一个map-reduce过程中完成所有的计数，然后获取这些输出并在之后划分适当的数量（试图将它们处理到map-reduce过程中会增加不必要的复杂性）

您实际上只需要一个数据结构来跟踪您试图计数的东西。如果速度是必须的，您可以使用一组带有隐式索引的数组来实现这一点，但是通过单个HashMap来实现说明是很简单的。因为我们不感兴趣

import sys
output={}


for line in sys.stdin:
   temp=line.strip().split('\t')
   # we should sort the input so that all occurrences of items x and y appear with x before y
   temp.sort()
   # count the occurrences of all the single items
   for item in temp:
      if item in output:
         output[item]+=1
      else:
         output[item]=1


   #count the occurrences of each pair of items
   for i in range(len(temp)):
      for j in range(i+1,len(temp)):
         key=temp[i]+'-'+temp[j]
         if key in output:
            output[key]+=1
         else:
            output[key]=1
   #you can triple nest a loop if you want to count all of the occurrences of each 3 item pair, but be warned the number of combinations starts to get large quickly
   #for 100 items as in your example there would be 160K combinations


#this point of the program will be reached after all of the data has been streamed in through stdin
#output the keys and values of our output dictionary with a tab separating them
for data in output.items():
   print data[0]+'\t'+data[1]

#end mapper code