Spark：对字段的引用不明确

Question

我在尝试展平高度嵌套的结构时遇到以下错误：

组织。阿帕奇。火花sql。AnalysisException：对字段StructField（错误、StructType（数组、ArrayType（StructType（double，DoubleType，true）、StructField（int，IntegerType，true）、StructField（string，StringType，true））、true、StructField（double，DoubleType，true）、StructField（int，IntegerType，true）、StructField（string，StringType，true）的引用不明确，StructField（struct，StructType（消息，StringType，true），StructField（种类，StringType，true），StructField（堆栈，StringType，true）），true），StructField（错误，StructType（数组，ArrayType（StringType，true），true），StructField（字符串，StringType，true）），true）

我似乎不知道是什么原因导致了这种情况。除了深层嵌套结构之外，还有什么不明确之处？

Answer 1

当您在两个数据帧之间进行连接，并且两个数据帧都有一个同名字段时，就会发生这种情况。当您调用复制字段时，Spark不知道您请求的是哪一列。解决方案：在连接的一侧重命名字段，就完成了。实例

• dfA是一个具有2列的数据帧=

您要按列“id”连接两个数据帧，并且要选择第二个中的“name”列：

val dfJoined = dfA.join(dfB,Seq("id"),"inner").select("name")

由于列“name”存在于两个数据框中，Spark无法识别您要求的是哪个“name”。

解决方案：

val dfRenamedB = dfB.withColumnRenamed("name","b_name")

现在，当您加入这两个数据帧时，您将得到“name”和“b\u name”列，并且您可以确定哪一个是所选的。