阿帕奇-Kafka，batch.sizevsbuffer.memory

Question

我正试图找出这两种设置之间的区别。大小和缓冲区。Kafka制作人的记忆。

据我所知。大小：这是可以发送的批次的最大大小。

文档描述了缓冲区。memory as：生产者可以用来缓冲等待发送的记录的内存字节。

我不明白这两者之间的区别。有人能解释一下吗？

谢啦

Answer 1

Kafka制作者和Kafka消费者有许多有助于性能调整的配置，比如获得低延迟和高吞吐量。缓冲器内存和批处理。尺寸也是其中之一，这些都是Kafka制作人特有的。让我们看看这些配置的更多细节。

>

一批大小当多条记录被发送到同一个分区时，生产者会将它们成批放入。此配置控制将用于每个批处理的内存量（以字节为单位，而不是消息）。当批处理已满时，将发送批处理中的所有消息。然而，这并不意味着生产商将等待批次满。生产商将发送半个完整批次，甚至只发送一条消息的批次。因此，将批大小设置得太大不会导致发送消息的延迟。它只会为批处理使用内存。将批量大小设置得太小会增加额外的开销，因为生产者需要更频繁地发送消息。默认批量大小为16384。

batch.size也是基于linger.ms的工作，它控制在发送当前批次之前等待额外消息的时间。正如我们所知，Kafka生产者在rge当前批次已满或达到linger.ms时间时发送一批消息。默认情况下，一旦有一个发送线程可以发送消息，prodcuer就会发送消息，即使只有消息。

Answer 2

合流文档页面上对这两种生产者配置的描述如下：

• 一批。大小

kafka生产者试图将发送的消息收集成批处理以提高吞吐量。使用Java客户端，您可以使用batch.size来控制每个消息批处理的最大字节大小。

• 缓冲区。记忆

使用缓冲区。内存限制Java客户端用于收集未发送消息的总内存。当达到此限制时，制作人将阻止其他发送，时间与max.block相同。ms，然后提出了一个例外。

Answer 3

在我看来，

batch.size：单个请求中可以发送的最大数据量。如果batch.size是（32*1024），这意味着单个请求可以发送32KB。

缓冲器内存：如果Kafka制作人无法向Kafka代理发送消息（批处理）（假设代理已关闭）。它开始在缓冲内存中累积消息批（默认为32MB）。一旦缓冲区已满，它将等待“max.block.ms”（默认60000ms），以便清除缓冲区。然后是抛出异常。