空指针异常，同时转换dataframe到列表内udf

Question

我正在阅读2个不同的. csv文件，其中只有以下列：

    val dF1 = sqlContext.read.csv("some.csv").select($"ID")
    val dF2 = sqlContext.read.csv("other.csv").select($"PID")

尝试搜索dF1（“ID”）中是否存在dF2（“PID”）：

    val getIdUdf = udf((x:String)=>{dF1.collect().map(_(0)).toList.contains(x)})
    val dfFinal = dF2.withColumn("hasId", getIdUdf($"PID"))

这给了我空指针异常。但如果我在外部转换dF1并在udf中使用list，它就会工作：

    val dF1 = sqlContext.read.csv("some.csv").select($"ID").collect().map(_(0)).toList
    val getIdUdf = udf((x:String)=>{dF1.contains(x)})
    val dfFinal = dF2.withColumn("hasId", getIdUdf($"PID"))

我知道我可以使用连接来完成这项工作，但想知道空指针异常的原因是什么。

谢谢

Answer 1

请检查关于在另一个数据帧的转换中访问数据帧的问题。这正是你对UDF所做的，这在火花中是不可能的。解决方案是要么使用连接，要么在转换和广播之外收集。