无法解决作为字符串传递的列的列名错误-Spark Scala

Question

我有一个特殊的问题。我试图使用自动生成的字符串从数据帧中选择一些列。如果我直接传递select，则select可以正常工作，如果我在字符串中放入相同的表达式并将字符串传递给select，则会失败，并出现错误“无法解析给定列列表的列名”。它以某种方式向字符串添加反勾号，并尝试将完整字符串作为列名查找（而不是计算字符串表达式并将其用作列名）

下面的例子：

这是可行的，historyJoinedDF是一个数据帧，它是两个数据帧之间外部连接的输出：

historyJoinedDF.select(
        currentUnmatchedDF("sessiondetail_sessionid").as("sessiondetail_sessionid")
      ).show()

这不起作用：

val test = """currentUnmatchedDF("sessiondetail_sessionid").as("sessiondetail_sessionid")"""
      historyJoinedDF.select(
      test
     .show()

失败：

cannot resolve '`currentUnmatchedDF("sessiondetail_sessionid").as("sessiondetail_sessionid")`' given input columns:

不确定这是否重要，但我的数据帧是具有相同模式的两个数据帧之间的完全外部连接的输出（因此需要用DF名称限定列名）。

编辑：添加当前未匹配的DF. show的输出（false）

Answer 1

select方法将列名作为参数。所以你应该这样做

someDf.select("sessiondetail_sessionid")

或者，如果你想得到其他df的列，并在一些df中选择它们，你应该使用

import org.apache.spark.sql.functions.col
someDf.select(otherDf.columns.map(col): _*) //: _* transforms collection to varag

但您试图获取具有文字名称的列

currentUnmatchedDF("sessiondetail_sessionid").as("sessiondetail_sessionid")