在Spark中使用窗口功能

Question

我试图在火花数据帧中使用rowNumber。我的查询在Spark shell中按预期工作。但是当我在eclipse中写出它们并编译一个jar时，我面临着一个错误

 16/03/23 05:52:43 ERROR ApplicationMaster: User class threw exception:org.apache.spark.sql.AnalysisException: Could not resolve window function 'row_number'. Note that, using window functions currently requires a HiveContext;
org.apache.spark.sql.AnalysisException: Could not resolve window function 'row_number'. Note that, using window functions currently requires a HiveContext;

我的问题

import org.apache.spark.sql.functions.{rowNumber, max, broadcast}
import org.apache.spark.sql.expressions.Window
val w = Window.partitionBy($"id").orderBy($"value".desc)

val dfTop = df.withColumn("rn", rowNumber.over(w)).where($"rn" <= 3).drop("rn")

在Spark shell中运行查询时，我没有使用HiveContext。不确定为什么它返回一个错误，当我运行相同的jar文件。如果有帮助的话，我也在Spark 1.6.0上运行脚本。有人面临类似的问题吗？

Answer 1

对于Spark 2.0，建议使用SparkSession作为单一入口点。它消除了HiveContext/SqlContext混淆问题。

import org.apache.spark.sql.SparkSession
val session = SparkSession.builder
    .master("local")
    .appName("application name")
    .getOrCreate()

查看这篇databricks文章了解如何使用它。

Answer 2

我之前已经回答过一个类似的问题。错误信息说明了一切。带着火花

您可以在这里进一步了解SQLContext和HiveContext之间的区别。

SparkSQL有一个SQLContext和一个HiveContext。Spark社区建议使用HiveContext。您可以看到，当您运行Spark-shell（这是您的交互式驱动程序应用程序）时，它会自动创建一个定义为sc的SparkContext和一个定义为sqlContext的HiveContext。HiveContext允许您执行SQL查询以及Hive命令。

您可以尝试检查内部的火花外壳：

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_74)

scala> sqlContext.isInstanceOf[org.apache.spark.sql.hive.HiveContext]
res0: Boolean = true

scala> sqlContext.isInstanceOf[org.apache.spark.sql.SQLContext]
res1: Boolean = true

scala> sqlContext.getClass.getName
res2: String = org.apache.spark.sql.hive.HiveContext

通过继承，HiveContext实际上是一个SQLContext，但反过来就不是这样了。如果您对了解HiveContext如何继承SQLContext更感兴趣，可以查看源代码。

自spark 2.0以来，您只需要创建一个SparkSession（作为单个入口点），它将消除HiveContext/SQLContext的混淆问题。