将spark数据帧保存为配置单元表时出现问题

Question

我有两个Spark的数据帧。其中一个是使用HiveContext从配置单元表接收的：

spark_df1 = hc.sql("select * from testdb.titanic_pure_data_test")    

lines = sc.textFile("hdfs://HDFS-1/home/testdb/1500000_Sales_Records.csv").map(lambda line: line.split(","))    

spark_df_test = lines.toDF(['Region','Country','Item_Type','Sales_Channel','Order_Priority','Order_Date','Order_ID','Ship_Date','Units_Sold','Unit_Price','Unit_Cost','Total_Revenue','Total_Cost','Total_Profit'])`

spark_df1.write.mode（“overwrite”）.format（“orc”）.saveastable（“testdb.new_res5”）

第一个数据帧保存时没有出现问题，但当我尝试以同样的方式保存第二个数据帧(spark_df_test)时，我得到了这个错误

文件“/home/jup-user/testdb/scripts/caching.py”，第90行，spark_df_test.write.mode（“overwrite”）.format（“orc”）.saveAsTable（“testdb.new_res5”）文件“/data_disk/opt/cloudera/parcels/cdh-5.15.1-1.cdh5.15.1.p0.4/lib/spark/python/lib/pyspark.zip/pyspark/SQL/readwriter.py如果表名有圆点（.）在其中，请用反勾(`)引号表名。；‘

Answer 1

问题是您试图用不同的数据帧覆盖同一个配置单元表。现在在Spark不能这么做。

原因是下面的代码。这可以确保表是否存在以引发异常。理想的方法是将数据帧保存在一个新表中

spark_df_test.write.mode（“overwrite”）.format（“orc”）.saveastable（“testdb.new_res6”）

spark_df_test.write.mode（“overwrite”）.saveastable（“temp_table”）

然后可以覆盖目标表中的行

val tempTable = sqlContext.table("temp_table") 
tempTable
       .write
       .mode("overwrite").insertInto("testdb.new_res5")