在写入HDFS或S3时Spark会锁定文件吗

Question

我有一个具有以下目录结构的S3位置，其顶部创建了一个配置单元表：

s3://<Mybucket>/<Table Name>/<day Partition>

假设我有一个Spark程序，它使用下面的代码行将数据跨多个分区写入上面的表位置：

Df.write.partitionBy("orderdate").parquet("s3://<Mybucket>/<Table Name>/")

spark在写入S3位置时是否锁定数据文件？

我们如何使用Spark作为ETL工具来处理这样的并发情况？

Answer 1

Spark以两步过程写入输出。首先，它将数据写到_temporary目录，然后一旦写操作完成并成功，它就将文件移动到输出目录。

他们是否考虑写临时文件？

因为以_开头的文件是隐藏文件，所以不能从Hive或AWS Athena读取它们。

这里还要注意的一点是，在上面的示例中，在将输出写入输出目录之后，需要使用ALTER table add partition(...) 命令或MSCK修复表tbl_name命令将分区添加到配置单元外部表中，否则配置单元中的数据将不可用。