导入sqlContext隐含后，Spark toDF无法解析符号

Question

我正在为我的Scala Spark应用程序编写一些单元测试，为了这样做，我需要在测试中创建不同的数据流。因此，我编写了一个非常简短的DFsBuilder代码，它基本上允许我添加新行并最终创建DF。代码是：

class DFsBuilder[T](private val sqlContext: SQLContext, private val columnNames: Array[String]) {
  var rows = new ListBuffer[T]()

  def add(row: T): DFsBuilder[T] = {
    rows += row
    this
  }

  def build() : DataFrame = {
    import sqlContext.implicits._
    rows.toList.toDF(columnNames:_*) // UPDATE: added :_* because it was accidently removed in the original question
  }
}

但是，toDF方法不能使用不能解析符号toDF进行编译。

null

显然，我首先搜索了这个问题，但只发现了一些例子，其中人们忘记导入SQLContext.Implicits方法或关于case类的一些东西超出了范围，这可能与我现在遇到的问题不同

提前致谢

Answer 1

如果查看TODF和SQLimplicits.localSeqToDataFrameHolder（使用的隐式函数）的签名，您将能够检测到两个问题：

>

typet必须是product的子类（所有case类的超类，元组...），并且必须为它提供隐式的typeTag。要解决这个问题-将类的声明更改为：

class DFsBuilder[T <: Product : TypeTag](...) { ... }

columnnames参数不属于array类型，它是一个“重复参数”（类似于Java的“varargs”，请参见这里的4.6.2节），因此必须将数组转换为参数：

rows.toList.toDF(columnNames: _*)

通过这两个更改，您的代码可以编译（并工作）。