在pyspark RDD上执行映射/减少时出错

Question

我只是想学习PySpark，但对以下两个RDD之间的区别感到困惑，我知道一个是类型集，一个是列表，但两者都是RDD

rdd = sc.parallelize([('a', 1), ('b', 1), ('a', 3)])
type(rdd)

和

rdd = sc.parallelize(['a, 1', 'b, 1', 'a, 3'])
type(rdd)

图和减函数处理代码：

priceMap= s.map(lambda o: (o.split(",")[0], float(o.split(",")[1])))
priceMap.reduceByKey(add).take(10)

我可以很容易地执行映射/减少功能对第二个rdd数据，但当我尝试执行映射或减少我得到以下错误：那么我们如何将第一个rdd转换为第二个rdd数据，或者如果有任何方法来解决以下错误请帮助

Py4JJavaError：调用z:org时出错。阿帕奇。火花应用程序编程接口。蟒蛇蟒蛇。运行作业：组织。阿帕奇。火花SparkException：作业因阶段失败而中止：阶段162.0中的任务0失败1次，最近一次失败：阶段162.0中的任务0.0丢失（TID 3850，localhost，executor driver）：org。阿帕奇。火花应用程序编程接口。蟒蛇PythonException：回溯（上次调用）：

Answer 1

对于第一个rdd，您可以替换map函数：

rdd = sc.parallelize([('a', 1), ('b', 1), ('a', 3)])
rdd.map(lambda o: (o[0], float(o[1]))).reduceByKey(add).collect()

这是因为拆分只适用于字符串，而不适用于元组。