从配置单元表读取并使用spark sql写回配置单元表

Question

我正在使用Spark SQL读取一个配置单元表，并将其分配给一个scala val

val x = sqlContext.sql("select * from some_table")

y.write.mode(SaveMode.Overwrite).saveAsTable().insertInto("some_table")

有什么方法可以绕过这个错误吗？我需要将记录插入到同一个表中。

嗨，我试着按建议做，但仍然得到同样的错误。

val x = sqlContext.sql("select * from incremental.test2")
val y = x.limit(5)
y.registerTempTable("temp_table")
val dy = sqlContext.table("temp_table")
dy.write.mode("overwrite").insertInto("incremental.test2")

scala> dy.write.mode("overwrite").insertInto("incremental.test2")
             org.apache.spark.sql.AnalysisException: Cannot insert overwrite into table that is also being read from.;

Answer 1

您应该首先将数据表y保存在临时表中

y.write.mode("overwrite").saveAsTable("temp_table")

然后可以覆盖目标表中的行

val dy = sqlContext.table("temp_table")
dy.write.mode("overwrite").insertInto("some_table")