无法将RDD转换为数据帧

Question

我正在尝试将RDD转换为数据帧，但失败并出现错误：

org.apache.spark.SparkException：由于阶段失败而中止作业：阶段2.0中的任务0失败4次，最近一次失败：阶段2.0中丢失任务0.3（TID 11，10.139.64.5，执行器0）

这是我的代码：

items = [(1,12),(1,float('Nan')),(1,14),(1,10),(2,22),(2,20),(2,float('Nan')),(3,300),
         (3,float('Nan'))]

sc = spark.sparkContext
rdd = sc.parallelize(items)

itemsRdd = rdd.map(lambda x: Row(id=x[0], col1=int(x[1])))

df = itemsRdd.toDF() # The error is thrown in this line.

Answer 1

此代码有多个问题。

您可能在这里遇到的第一个问题是缺少Row类的导入，因此方法toDF（）无法执行并为您的数据帧创建逻辑计划。

第二个问题发生在col1列的定义中。如果您尝试执行int（浮动（'nan'）），它将导致ValueError，因此稍后当您调用数据帧上的操作时会使执行崩溃。

例如，您可以通过以下方式解决这两个问题：

items = [(1,12),(1,float('Nan')),(1,14),(1,10),(2,22),(2,20),(2,float('Nan')),
         (3,300),(3,float('Nan'))]

sc = spark.sparkContext
rdd = sc.parallelize(items)

df = rdd.toDF(["id", "col1"])

如果要重新键入列，我建议对要重新键入的特定列使用强制转换方法。在Spark dataframe中更改列类型比在每一行上强制使用Python类型更安全、更快、更稳定。