如何使用kafka控制台生产者发送键、值消息

Question

我有一个需要使用Kafka Console Producer发送键值消息的用例。那么如何通过Kafka Console Producer命令实现这一点呢？

Answer 1

默认情况下，生产者不关心消息写入的主题分区，并将在主题的所有分区上公平平衡消息。生产者根据记录键的哈希值选择分区，如果记录没有键，则以循环方式选择分区。

>

Kafka使用key指定目标分区，默认的
策略是根据key的哈希值选择分区，或者如果key为null则使用循环算法。

Kafka使用键-值对，如果未指定键，它将被视为默认值为null，分区将被标识为循环方式。

如果我们指定密钥，具有相同密钥的消息/记录将进入同一个分区

要启用从命令行发送完整的键值对，我们需要使用以下两个属性：

属性

>

解析。key：如果为true–key是强制的，默认情况下设置为false。

key.separator：如下

示例：

• key.separator=，
• key.separator=-
• key.separator=：

Kafka控制台生成器命令

kafka-console-producer --broker-list MY-KAFKA:29092 --topic kafka-prod --property parse.key=true --property key.separator=,

参考号：https://shashirl9.medium.com/kafka-producer-internals-d971ac582688

Answer 2

我经过一些研究找到了解决方案，解决方案就在这里。

kafka控制台生成器命令

kafka-console-producer.sh --broker-list localhost:9092 --topic topic-name --property "parse.key=true" --property "key.separator=:"

运行此命令后，您将在producer控制台中输入，并从那里可以发送键、值消息。

举个例子

key1:value1
key2:value2
key3:value3

为了更清楚，我在这里提供了示例键值消息，emp\u info是一个键，JSON对象是一个值。

emp_info: {"emp_id":100,"first_name":"Keshav","last_name":"Lodhi","designation":"DataEngineer"}

注意：只需发送几行文本，就会生成键为null的消息。要发送同时包含键和值的消息，必须设置解析。按键和按键。运行生成器时，命令行上的分隔符属性。