执行连接时更新Spark - Scala中的数据帧列名

Question

在Apache Spark 2.1.0中，我有两个数据帧aaa_01和aaa_ 02。

我对这两个数据帧执行内部联接，从两个数据帧中选择几个列以显示在输出中。

Join 工作正常，但输出数据帧具有与输入数据帧中存在的列名称相同的列名。我被困在这里。我需要使用新的列名称，而不是在输出数据帧中获取相同的列名称。

下面给出了示例代码供参考

DF1.alias("a").join(DF2.alias("b"),DF1("primary_col") === DF2("primary_col"), "inner").select("a.col1","a.col2","b.col4")

我获取的输出数据帧的列名称为“col1，col2，col3”。我试图修改代码如下，但徒劳无功

DF1.alias("a").join(DF2.alias("b"),DF1("primary_col") === DF2("primary_col"), "inner").select("a.col1","a.col2","b.col4" as "New_Col")

感谢任何帮助。提前感谢。

编辑

我浏览了类似的帖子，如下所示。但是我看不到我问题的答案。

在spark中更新数据帧列

在Spark scala中重命名数据帧的列名

这篇文章中的答案是：Spark Dataframe区分具有重复名称的列与我无关，因为它与pyspark比Scala更相关，它解释了如何重命名Dataframe的所有列，而我的要求是只重命名一列或几列。

Answer 1

您可以. as别名

import sqlContext.implicits._
DF1.alias("a").join(DF2.alias("b"),DF1("primary_col") === DF2("primary_col"), "inner").select($"a.col1".as("first"),$"a.col2".as("second"),$"b.col4".as("third"))

或者您可以使用< code >。别名为

import sqlContext.implicits._
DF1.alias("a").join(DF2.alias("b"),DF1("primary_col") === DF2("primary_col"), "inner").select($"a.col1".alias("first"),$"a.col2".alias("second"),$"b.col4".alias("third"))

如果您希望只更新一个列名，那么可以这样做

import sqlContext.implicits._
DF1.alias("a").join(DF2.alias("b"),DF1("primary_col") === DF2("primary_col"), "inner").select($"a.col1", $"a.col2", $"b.col4".alias("third"))

Answer 2

如果要重命名数据集的列，则数据集来自联接的事实不会改变任何内容。你可以尝试这个答案中的任何例子，例如：

DF1.alias("a").join(DF2.alias("b"),DF1("primary_col") === DF2("primary_col"), "inner")
    .select("a.col1","a.col2","b.col4")
    .withColumnRenamed("col4","New_col")