Spark上的配置单元列出特定配置单元表的所有分区，并添加一个分区

Question

我正在使用Spark2.0，我想知道，是否可以列出特定配置单元表的所有文件？如果是这样，我可以直接使用sparksc.textfile（“file.orc”）增量地更新这些文件。如何向配置单元表添加新分区？有没有关于蜂巢转移瘤的api我可以从Spark使用？

有什么方法可以获得映射dataframerow=>partition_path的内部配置单元函数吗

我的主要理由是对表进行增量更新。现在，我知道的唯一方法是完全外部联接SQL+savemode.overwrite，这不是很有效，因为他将覆盖所有表，而我主要感兴趣的是对某些特定分区进行增量更新/添加新分区

根据我在HDFS上看到的内容进行编辑，当savemode.overwrite spark将发出表定义，即create table my_table...分区（月份，..)。spark将所有文件放在$hive/my_table下，而不是$hive/my_table/month/...下，这意味着他没有对数据进行分区。当我编写df.write.partitionby(...).mode(Overwrite).saveastable（“my_table”）时，我在hdfs上看到它是正确的。我使用了savemode.overwrite，因为我正在更新记录，而不是追加数据。

我使用spark.table（“my_table”）加载数据，这意味着spark会懒洋洋地加载表，这是一个问题，因为我不想加载所有表，只是IF的一部分。

对于这个问题：

1.spark是否会因为我使用了partitionby()而洗牌数据，或者他比较了当前的分区，如果是相同的分区，他不会洗牌数据。

Answer 1

添加分区：

从spark添加分区可以使用dataframeWriter中提供的partitionby，用于非流数据，或者使用datastreamWriter用于流数据。

public DataFrameWriter<T> partitionBy(scala.collection.Seq<String> colNames)

因此，如果希望按年和月对数据进行分区，spark将把数据保存到文件夹中，如下所示：

year=2016/month=01/
year=2016/month=02/

df.write.partitionBy('year', 'month').format("orc").save(path)

df.write.partitionBy('year', 'month').insertInto(String tableName)

Spark sql基于配置单元查询语言，因此可以使用show partitions获取特定表中的分区列表。

sparkSession.sql("SHOW PARTITIONS partitionedHiveTable")

在使用SparkSessionBuilder创建会话时，只需确保具有.enableHivesupport()，并确保是否正确配置了hive-conf.xml等