Apache Iceberg 关于 Merge-on-Read（Row-Level Delete） 总结

引言

本次分享的出发点是为了理清楚 iceberg 是如何实现 MOR 的，思考这么几个问题：

1. delta 增量数据文件的格式是否与 base 保持一致
2. delta 增量数据文件是否需要拆分为 insert 和 delete 两部分
3. delete 文件的格式规范如何设计，兼顾数据摄取的吞吐量和查询效率
4. 实现 MOR 后，minor compaction 和 major compaction 是如何设计的

在 Iceberg 中 MOR 相关的功能是在 Iceberg Table Spec Version 2: Row-level Deletes 中进行实现的，V1 是没有相关实现的。

Row-Level Delete 是指根据一个条件从一个数据集里面删除指定行。它实现方式可以分为Copy on Write模式和Merge on Read模式，其中Copy on Write模式可以保证下游的数据读具有最大的性能，而Merge on Read模式保证上游数据插入、更新、和删除的性能，减少传统Copy on Write模式下写放大问题。本次我们只讨论基于 Merge on Read 模式的实现方式。

整体进度

根据官网和 Github ，当前 Row-level Deletes 相关的功能并未完全开发完毕，当前进度约为 90%。

根据里程碑【3】，我们可以发现已经完成的部分：

•  Spec: equality delete files & position-based delete files
• Add reader and writer implementations for delete files
• Add a row filter implementation for deletes
• Update scan pla