Kafka压缩能否覆盖具有相同分区键的消息？

Question

我用下面的代码给Kafka写信:

String partitionKey = "" + System.currentTimeMillis();
KeyedMessage<String, String> data = new KeyedMessage<String, String>(topic, partitionKey, payload);

我们使用0.8.1.1版本的Kafka。

当多个线程正在写入时，其中一些线程（具有不同的负载）是否使用相同的分区键进行写入，因此Kafka会覆盖这些消息（由于相同的分区密钥）？

让我们朝这个方向思考的文献是:http://kafka.apache.org/documentation.html#compaction

Answer 1

听起来很有可能。

Answer 2

我在https://cwiki.apache.org/confluence/display/KAFKA/Log压实度

突出点：

1. 在0.8版本之前，Kafka只支持一种保留机制：删除日志的旧段
2. 日志压缩提供了一种替代方法，即它维护每个唯一键的最新条目，而不是仅维护最近的日志条目
3. 每个主题都有一个选项可以选择“删除”或“压缩”
4. 压缩确保每个键在日志尾部是唯一的。它的工作方式是从头到尾重新复制日志，删除日志中稍后出现的键
5. 任何停留在日志头部（~1GB）内的消费者都会看到所有消息

因此，无论我们是否进行日志压缩，Kafka都会删除较旧的记录，但日志头部的记录是安全的。

只有当下游客户机很长时间无法清空Kafka队列时（从而达到每个主题的大小/时间限制），才会出现丢失记录问题。

我认为这应该是一种预期的行为，因为我们不能永远保存记录。他们必须在某个时候被删除。