从Spark Sql写入配置单元表时出错

Question

我试图从Spark Sql将数据插入到Hive外部表中。我通过以下命令创建了hive外部表

CREATE EXTERNAL TABLE  tab1 ( col1 type,col2 type ,col3 type) CLUSTERED BY (col1,col2) SORTED BY (col1) INTO 8 BUCKETS STORED AS PARQUET

在spark工作中，我编写了以下代码Dataset df=session。read（）。选项（“标题”、“真”）。csv（csvInput）；

df.repartition(numBuckets, somecol)
                  .write()
                  .format("parquet")
                  .bucketBy(numBuckets,col1,col2)
                  .sortBy(col1)
                  .saveAsTable(hiveTableName);

每次运行这段代码时，我都会遇到以下异常

org.apache.spark.sql.AnalysisException: Table `tab1` already exists.;
    at org.apache.spark.sql.DataFrameWriter.saveAsTable(DataFrameWriter.scala:408)
    at org.apache.spark.sql.DataFrameWriter.saveAsTable(DataFrameWriter.scala:393)
    at somepackage.Parquet_Read_WriteNew.writeToParquetHiveMetastore(Parquet_Read_WriteNew.java:100)

Answer 1

在配置单元中保存数据时，应该指定保存模式。

df.write.mode(SaveMode.Append)
              .format("parquet")
              .bucketBy(numBuckets,col1,col2)
              .sortBy(col1)
              .insertInto(hiveTableName);

Spark提供以下保存模式：

保存模式

ErrorIfExists：如果目标已存在，则引发异常。如果目标不存在，写出数据。

Append：如果目标已经存在，则将数据附加到它。如果数据不存在，则将数据写入。

覆盖：如果目标已存在，请删除目标。把数据写出来。

忽略：如果目标已经存在，则无提示地跳过写入。否则，写出数据。

Answer 2

您正在使用saveAsTableAPI，它将表创建到配置单元中。由于您已经通过命令创建了配置单元表，因此表tab1已经存在。所以，当Spark API试图创建它时，它抛出错误，表示表已经存在，org。阿帕奇。火花sql。AnalysisException:表tab1已存在

要么放下表格，让spark APIsaveAsTable自己创建表格。或者使用APIinsertInto插入到现有的配置单元表中。

df.repartition(numBuckets, somecol)
                  .write()
                  .format("parquet")
                  .bucketBy(numBuckets,col1,col2)
                  .sortBy(col1)
                  .insertInto(hiveTableName);