使用 Scala 数据帧中的分区创建配置单元表

Question

我需要一种从Scala数据框创建hive表的方法。hive表应该具有按日期分区的S3位置的ORC格式的基础文件。

以下是我目前得到的信息:

我以 ORC 格式将 scala 数据帧写入 S3

df.write.format("orc").partitionBy("date").save("S3Location)

我可以在S3位置看到ORC文件。我现在在这些ORC文件的顶部创建了一个配置单元表：

CREATE EXTERNAL TABLE "tableName"(columnName string)
PARTITIONED BY (date string)
STORED AS ORC
LOCATION "S3Location"
TBLPROPERTIES("orc.compress"="SNAPPY")

但是配置单元表是空的，即 spark.sql（“从 db.tableName 中选择 *”）不打印任何结果。

但是，当我删除< code>PARTITIONED BY行时:

CREATE EXTERNAL TABLE "tableName"(columnName string, date string)
STORED AS ORC
LOCATION "S3Location"
TBLPROPERTIES("orc.compress"="SNAPPY")

我看到了选择查询的结果。

似乎hive不认可spark创建的分区。我用的是Spark 2.2.0。

任何建议将不胜感激。

更新:

我从一个火花数据框开始，我只需要一种方法来在此之上创建一个蜂巢表（底层文件在S3位置为ORC格式）。

Answer 1

我认为分区还没有添加到hive元存储中，所以你只需要运行这个hive命令：

MSCK REPAIR TABLE table_name

如果不起作用，可能需要检查以下几点：

• 将数据写入s3后，文件夹应如下：s3：//anypath youwant/mytablefolder/transaction_date=2020-10-30
• 创建外部表时，位置应该指向s3：//anypath youwant/mytablefile

是的，Spark 将数据写入 s3，但不会将分区定义添加到配置单元元存储中！Hive 不知道写入的数据，除非它们位于可识别的分区下。因此，要检查配置单元元存储中的分区，可以使用以下配置单元命令：

SHOW PARTITIONS tablename

在生产环境中，我不推荐使用< code>MSCK修理表来达到这个目的，因为它会耗费太多的时间。最好的方法是让您的代码通过rest api只将新创建的分区添加到您的metastore。