附加到镶木地板文件，由具有重叠时间戳的数据分区

Question

我的数据帧有时间戳列。我将其转换为日期，按日期进行分区，并每天将其附加到不断增长的拼花文件中。

如果我附加一个时间戳从2021 04月19日01:00:01到2021 04月19日13:00:00的数据集，它会将其写入分区中的拼花地板。

如果在当天晚些时候，我附加另一个时间戳从2021 04月19日15:00:00到2021 04月19日20:00:00的数据集，它会覆盖之前的分区吗？该分区的数据从凌晨1点到下午1点？或者它真的会附加到它上面吗？

我使用以下语法：

df.write.mode('append').partitionBy("DATE").parquet("s3://path")

Answer 1

按照mck的建议（在尝试之前你不会知道），我做到了，而且正如担心的那样，它基本上用新数据重写了整个分区。

我考虑了一下，决定总是重新流化前一天的内容，并在分区中覆盖。在我的情况下，它对我有效，因为我确实可以访问5天的缓冲区数据，我可以重新提取这些数据。但这种解决方案不适用于那些只有几个小时左右的瞬态数据的用户。

Answer 2

从Spark文档中的保存模式：

追加：将数据帧保存到数据源时，如果数据/表已经存在，则数据帧的内容将追加到现有数据中。

因此，它符合您的期望。下面是一个检查行为的玩具示例：

data_batch_1 = [("2021-04-19", "2021-04-19 01:00:01", 1.1), 
                ("2021-04-19", "2021-04-19 13:00:00", 1.2)]

data_batch_2 = [("2021-04-19", "2021-04-19 15:00:00", 2.1), 
                ("2021-04-19", "2021-04-19 20:00:00", 2.2)]

col_names = ["DATE", "ts", "sensor1"]

df_batch_1 = spark.createDataFrame(data_batch_1, col_names)
df_batch_2 = spark.createDataFrame(data_batch_2, col_names)

s3_path = "/tmp/67163237/"

保存批次1

df_batch_1.write.mode("append").partitionBy("DATE").parquet(s3_path)
spark.read.parquet(s3_path).show()

+-------------------+-------+----------+
|                 ts|sensor1|      DATE|
+-------------------+-------+----------+
|2021-04-19 01:00:01|    1.1|2021-04-19|
|2021-04-19 13:00:00|    1.2|2021-04-19|
+-------------------+-------+----------+

保存批次2

df_batch_2.write.mode("append").partitionBy("DATE").parquet(s3_path)
spark.read.parquet(s3_path).show()

+-------------------+-------+----------+
|                 ts|sensor1|      DATE|
+-------------------+-------+----------+
|2021-04-19 15:00:00|    2.1|2021-04-19|
|2021-04-19 01:00:01|    1.1|2021-04-19|
|2021-04-19 20:00:00|    2.2|2021-04-19|
|2021-04-19 13:00:00|    1.2|2021-04-19|
+-------------------+-------+----------+