Kafka在批处理写入方面有什么原子性保证（如果有的话）？

Question

我们现在正在将我们的一项服务从通过传统通信技术推送数据转移到Apache Kafka
当前的逻辑是向IBM MQ发送消息，并在出现错误时重试。我想重复一遍，但我不知道经纪人在这种情况下提供了什么样的担保
假设我通过producer通过Java客户端库批量发送100条消息。假设它到达集群，是否有可能只接受其中的一部分（例如，磁盘已满，或者我在写操作中接触到的某些分区未被复制）？我能从我的制作人那里检测到这个问题，然后只重试那些未被接受的消息吗
我搜索了Kafka原子性保证，但结果是空的，可能有一个众所周知的术语

Answer 1

当你说你一批发送100条消息时，你的意思是，你想控制这个消息的数量，还是让生产者批量发送一定数量的消息，然后批量发送？

因为不确定您能否控制一个生产者批处理中生成的消息的数量，API将为您排队并批处理它们，但不保证将它们全部批处理在一起（不过我会检查一下）。

如果您不介意让API为您批处理一定数量的消息，以下是有关如何确认它们的一些线索。

与制作人打交道时，Kafka在写操作（也叫“批量写”）方面有一定的可靠性

如本幻灯片分享帖子所述：https://www.slideshare.net/miguno/apache-kafka-08-basic-training-verisign（83）

The original list of messages is partitioned (randomly if the default partitioner is used) based on their destination partitions/topics, i.e. split into smaller batches. 
Each post-split batch is sent to the respective leader broker/ISR (the individual send()’s happen sequentially), and each is acked by its respective leader broker according to request.required.acks

所以关于原子性。。对于上述行为，不确定整个批次是否会被视为原子。也许你可以保证为每条消息使用相同的密钥发送一批消息，因为它们将进入同一个分区，因此可能会变成原子

如果您在制作时需要更清楚地了解认知规则，请参阅此处所述的工作原理https://docs.confluent.io/current/clients/producer.html :

You can control the durability of messages written to Kafka through the acks setting. 
The default value of "1" requires an explicit acknowledgement from the partition leader that the write succeeded. 
The strongest guarantee that Kafka provides is with "acks=all", which guarantees that not only did the partition leader accept the write, but it was successfully replicated to all of the in-sync replicas.

你也可以四处看看。幂等性行为，如果你的目标是在生产过程中没有重复项。

扬尼克