Spark-"sbt包"-"value$不是StringContext的成员"-缺少Scala插件？

Question

在为一个小型Spark Scala应用程序从命令行运行“sbt包”时，我在以下代码行中得到“value$is not a member of StringContext”编译错误：

val joined = ordered.join(empLogins, $"login" === $"username", "inner")
  .orderBy($"count".desc)
  .select("login", "count")

Intellij 13.1给了我同样的错误消息。相同的。scala源代码在Eclipse 4.4.2中编译时没有任何问题。此外，它在命令行的一个单独的maven项目中与maven配合良好。

sbt似乎无法识别$符号，因为我的项目/插件中缺少了一些插件。sbt文件或我的构建中的某些设置。sbt文件。

你熟悉这个问题吗？任何提示都将不胜感激。我可以提供构建。sbt和/或项目/插件。sbt（如需要）。

Answer 1

很好的答案，伙计们，如果解决导入是一个问题，那么这会起作用吗

import org.apache.spark.sql.{SparkSession, SQLContext}
val ss = SparkSession.builder().appName("test").getOrCreate()
val dataDf = ...

import ss.sqlContext.implicits._
dataDf.filter(not($"column_name1" === "condition"))

Answer 2

$-可以通过在对象（spark）上导入隐式来使用列的符号

val spark = org.apache.spark.sql.SparkSession.builder
        .master("local")
        .appName("App name")
        .getOrCreate;

import spark.implicits._

然后用$符号表示代码

val joined = ordered.join(empLogins, $"login" === $"username", "inner")
  .orderBy($"count".desc)
  .select("login", "count")

Answer 3

您需要确保导入sqlContext。隐含_

这使您可以使用隐式类StringToColumn扩展AnyRef

评论如下：

将$"colname"转换为列。