如何使用Scala从Spark更新ORC配置单元表

Question

import org.apache.spark.SparkConf
import org.apache.spark.SparkConf
import org.apache.spark._
import org.apache.spark.sql._
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.orc._

注意：我没有在该表上应用任何分区或桶，如果应用桶，我甚至无法查看存储为ORC Hive版本：1.2.1 Spark版本：1.4.1 Scala版本：2.10.6的数据

Answer 1

您有没有根据下面的链接使用savemode.append尝试过dataframe.write API？

http://spark.apache.org/docs/latest/sql-programming-guide.html#手动-指定-选项

使用“orc”作为格式，“append”作为保存模式。例子在上面的链接中。