未找到Spark AnalysisException全局表或视图

Question

我得到以下错误：

18/03/14 15:31:11错误应用程序管理员：用户类引发异常：org。阿帕奇。火花sql。分析异常：未找到表或视图：产品；第1行42号位置

这是我的代码：

val spark = SparkSession
                .builder()
                .appName("Test")
                .getOrCreate()

val products = spark.read.parquet(productsPath)
products.createGlobalTempView("products")

val q1 = spark.sql("SELECT PERCENTILE(product_price, 0.25) FROM products").map(_.getAs[Double](0)).collect.apply(0)

我做错了什么？在Spark中不使用sql也可以做同样的事情吗？

Answer 1

所有全局临时视图都是在Spark preserved temporaryglobal_temp数据库中创建的。

下面应该有用-

val q1 = spark.sql("""SELECT PERCENTILE(product_price, 0.25) 
    FROM global_temp.products""").map(_.getAs[Double](0)).collect.apply(0)

Spark有2种不同类型的视图，Tempview和globalTempView，更多细节请参见此处的帖子。

Answer 2

如果你想使用sql API你可以试试

import org.apache.spark.sql.expressions.Window

val wdw =  Window.partitionBy($"Field1", $"Field2").orderBy($"Field".asc)

products.withColumn("percentile",functions.ntile(100).over(wdw))

Answer 3

临时视图

只需使用createOrReplaceTempViewas

products.createOrReplaceTempView("products")

val q1 = spark.sql("SELECT PERCENTILE(product_price, 0.25) FROM products").map(_.getAs[Double](0)).collect.apply(0)

全局临时视图

如果您使用全局临时视图，那么您应该这样做

products.createGlobalTempView("products")

val q1 = spark.sql("SELECT PERCENTILE(product_price, 0.25) FROM global_temp.products").map(_.getAs[Double](0)).collect.apply(0)