通过Kafka压缩主题实现GDPR合规性

Question

我想问你们一些关于阿帕奇·Kafka和压缩主题的问题。我们想提供一些Kafka压缩主题的PII数据。我们想通过墓碑删除这个主题的数据。目前有多个问题需要验证我们的假设：

1. 有没有其他公司像KIP-354那样通过压缩主题和墓碑生成来满足Kafka的gdpr要求（忘记的权利）https://cwiki.apache.org/confluence/display/KAFKA/KIP-354:添加最大日志压缩延迟
2. 我们的假设正确吗？只有当记录不在活动段文件中时，才会触发压缩。因此，在我们看来，Kafka文档需要修改，将其添加到Kafka文档第4.8点：主题的最大压缩。缓慢移动ms可用于保证从写入消息到消息符合压缩条件之间的最大延迟。在这里，它应该添加一个条件，即我们要压缩的消息不应该在活动段文件中。这是最大压缩的错误吗。缓慢移动ms功能还是按设计？我们现在还不确定
3. 压缩是否仅在插入新消息后触发？或者是否还有一个异步过程来压缩非活动段文件

感谢您的回答；-）

Answer 1

你说得很对。

1. 压缩Kafka主题中的消息删除或多或少与删除数据库中的一行相同。只是不会在发送墓碑消息后立即发生。
2. 是的，活动日志段没有压缩。如果您想加速这个特定主题的压缩过程（为了满足第1点），您可以将最大段大小（segment.bytes，默认为1GB）和最大段MS（segment.ms，默认为604800000 = 1周）减少到一些较低的值，例如100MB和1。您应该查看min.cleanable.dirty.ratio并将其设置为更激进的值，这同样取决于要求（第1点）。
3. 压缩是异步进行的，墓碑之后是否发送了任何消息都无关紧要。每个Kafka、代理、LogCleaner上都运行一个组件，负责执行此操作。