Kafka基于键/值对的消息传递的目的是什么？[关闭]

Question

< b >想改进这个问题？通过编辑此帖子更新问题，使其只关注一个问题。

Kafka | producers的所有示例都显示＜code＞ProducerRecord＜/code＞的键/值对不仅是同一类型（所有示例均显示＜code＞

producer.send(new ProducerRecord<String, String>("someTopic", Integer.toString(i), Integer.toString(i)));

但是在Kafka文档中，我似乎找不到键/值概念（及其潜在目的/实用程序）的解释。在传统消息传递中（ActiveMQ、RabbitMQ等），我总是在特定主题/队列/交换处触发消息。但是Kafka是第一个似乎需要键/值对而不仅仅是规则字符串消息的代理。

所以我问：要求生产商发送KV对的目的/用途是什么？

Answer 1

另一个有趣的用例

我们可以使用Kafka主题中的key属性来发送user _ ids，然后可以插入一个消费者来获取流事件(存储在value属性中的事件)。这可以允许您处理用户事件序列的任何最大历史，以便在您的机器学习模型中创建特征。

我还得弄清楚这是否可能。将不断更新我的回答，提供更多细节。

Answer 2

后期添加...指定键以便同一键上的所有消息都转到同一分区对于正确排序消息处理非常重要，前提是在一个主题的使用者组中有多个使用者。

如果没有密钥，同一密钥上的两条消息可能会转到不同的分区，并由组中的不同使用者无序处理。

Answer 3

Kafka使用由分区组成的分布式日志的抽象。将一个日志分割成多个分区允许向外扩展系统。

键用于确定日志中消息get附加到的分区。而值是消息的实际有效负载。在这方面，示例实际上不是很好；通常您将使用复杂类型作为值（如元组类型或JSON或类似类型），并且您将提取一个字段作为键。

参见:http://kafka.apache.org/intro#intro_topics和http://kafka.apache.org/intro#intro_producers

通常，键和/或值也可以是< code>null。如果键为< code>null，将选择一个随机分区。如果值为< code>null,它可以具有特殊的“删除”语义，以防您为主题启用日志压缩而不是日志保留策略(http://Kafka . Apache . org/documentation # compaction)。