python—在另一个RDD的映射中查找RDD

Question

我有两个RDD：

• RDD1=（单词，分数）#单词：字符串|分数：int

因此，对于RDD2中的每个“id”，我想计算文本中每个单词的平均分数，如果它有分数的话

def predecir(texto): 
    contador = 0    
    prediccion = 0
    for palabra in texto:
        puntaje = listaRDD.lookup(palabra)
        if puntaje:
                puntaje = puntaje[0]
                prediccion += puntaje
                contador += 1
    return (float(prediccion)/ contador)

listaTestRDD = listaTestRDD.map(lambda x: (x[0], predecir(x[1])))
print listaTestRDD.take(1)

我收到了这个错误信息

异常：似乎您正试图广播RDD或从操作或转换引用RDD。RDD转换和操作只能由驱动程序调用，不能在其他转换内部调用；例如，rdd1.map（lambda x：rdd2.values.count（）*x）无效，因为值转换和计数操作不能在rdd1.map转型。有关详细信息，请参阅SPARK-5063。

我怎样才能解决它？我不能用两个RDD，一个在另一个里面？如何将RDD1转换为字典，以便在O（1）中查找单词？

Answer 1

尝试：

RDD2.flatMapValues(lambda x: x) \
    .map(lambda x: (x[1], x[0])) \
    .leftOuterJoin(RDD1) \
    .values() \
    .map(lambda x: (x[0], (x[1], 1) if x[1] is not None else (0, 0))) \
    .reduceByKey(lambda x, y: (x[0] + y[0], x[1] + y[1])) \
    .mapValues(lambda x: x[0] / float(x[1]) if x[1] else 0.0)