Apache Kafka生产者如何并行地将记录发送到分区？

Question

“发送是异步的，一旦记录存储在等待发送的记录缓冲区中，此方法将立即返回。这允许并行发送许多记录，而不会阻塞等待每个记录之后的响应。“

我只是想知道这些记录是如何并行发送的？如果我有3个代理，并且在同一主题下的每个代理上有3个分区，Kafka生产者会将记录并行地发送到9个分区吗？或者制作人只是并行地向3个经纪人发送唱片？生产者如何以平行的方式工作？

Answer 1

Kafka客户机使用org.apache.Kafka.common.requests.produceRequest，它可以同时为多个分区承载有效负载（请参见http://Kafka.apache.org/protocol.html#the_messages_produce)。

因此，它将（使用org.apache.kafka.clients.networkclient)三个请求并行发送到（三个）代理中的每一个，即：

- sends records for topic-partition0, topic-partition1, topic-partition2 to broker 1
- sends records for topic-partition3, topic-partition4, topic-partition5 to broker 2
- sends records for topic-partition6, topic-partition7, topic-partition8 to broker 3

您可以控制使用生产者配置完成多少批处理。