key是发送信息给Kafka的一部分吗？

Question

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); 
producer.send(keyedMessage);

当前，我正在发送不带任何密钥的邮件作为密钥邮件的一部分，它是否仍能与delete.retention.ms一起工作？我需要发送密钥作为消息的一部分吗？把key作为信息的一部分好吗？

Answer 1

如果您需要一个键的强顺序，并且正在开发状态机之类的东西，那么键通常是有用的/必要的。如果您要求具有相同密钥（例如，唯一id）的消息始终以正确的顺序显示，那么将密钥附加到消息将确保具有相同密钥的消息始终进入主题中的相同分区。Kafka保证分区内的秩序，但不保证主题中的分区之间的秩序，因此不提供键--这将导致分区之间的循环分布--也不会维持这样的秩序。

在状态机的情况下，键可以与log.cleaner.enable一起使用，以便对具有相同键的条目进行重复数据删除。在这种情况下，Kafka假设您的应用程序只关心给定键的最新实例，并且只有当该键不为空时，日志清理器才删除给定键的旧副本。这种形式的日志压缩由log.Cleaner.Delete.Retention属性控制，并且需要键。

或者，更常见的属性log.retention.hours（默认情况下启用）通过删除日志中过期的完整段来工作。在这种情况下，不需要提供密钥。Kafka将简单地删除日志中比给定的保留期更早的块。

这就是说，如果您启用了日志压缩，或者对具有相同键的消息要求严格的顺序，那么您肯定应该使用键。否则，空键可以提供更好的分布，并在某些键可能比其他键出现更多的情况下防止潜在的热点问题。