触发器生产者何时发送请求？

Question

如果我只在生产者端发送一条记录并等待，生产者何时将记录发送给经纪人？在Kafka文档中，我找到了名为“linger.ms”的配置，它说：

一旦我们得到

根据以上文件，我有两个问题。

>

如果生产者收到的数据达到batch.size，它会立即触发发送一个只包含一个批次的请求给代理？但是正如我们所知，一个请求可以包含许多批次，那么它是如何发生的呢？

这是否意味着即使是收到的数据也不足以批量处理。大小，它也会在等待linger后触发向代理发送请求。太太

Answer 1

在Kafka，最低的发送单位是一个记录（一对千伏）。

kafka生产者试图批量发送记录以优化数据传输。因此，从生产者到集群的一次推送——准确地说是到代理领导者——可能包含多个记录。

此外，批处理总是只适用于给定的分区。生成到不同分区的记录不能批处理在一起，尽管它们可能形成多个批处理。

如文件所述，有几个参数会影响配料行为：

缓冲器记忆-

生产者可以用来缓冲等待发送到服务器的记录的总内存字节数。如果记录的发送速度超过了发送到服务器的速度，制作者将阻止max.block。ms之后，它将抛出异常。

batch.size-

当多个记录被发送到同一个分区时，生产者将尝试将记录一起批处理成更少的请求。这有助于客户端和服务器的性能。此配置html" target="_blank">控制默认的批处理大小（以字节为单位）。不会尝试批处理大于此大小的记录。

发送到代理的请求将包含多个批次，每个分区有一个可供发送的数据。

linger.ms-

生产者将在请求传输之间到达的所有记录组合成一个批处理请求。通常情况下，只有当记录到达的速度比发送的速度快时，才会发生这种情况。然而，在某些情况下，即使在中等负载下，客户端也可能希望减少请求的数量。此设置通过添加少量人工延迟来实现这一点，即制作人不会立即发送一条记录，而是等待到给定的延迟，以允许发送其他记录，从而可以将发送的记录批处理在一起。这可以被认为类似于TCP中的Nagle算法。这个设置给出了批处理延迟的上限：一旦我们得到批处理。不管这个设置如何，一个分区的记录大小都会立即发送，但是如果这个分区的累积字节数少于这个字节数，我们就会“逗留”指定的时间，等待更多的记录出现。此设置默认为0（即无延迟）。布景留恋。例如，ms=5可以减少发送的请求数，但在没有负载的情况下，发送的记录会增加多达5毫秒的延迟。

因此，从上面的文档中，您可以理解-linger。ms是一种人工延迟，如果没有足够的字节来传输，但如果生产者在逗留之前积累了足够的字节，则需要等待。ms已过，则仍会发送请求。

此外，批处理还受max.request.size的影响

麦克斯，请求。大小-

请求的最大大小（字节）。此设置将限制制作人在单个请求中发送的记录批次数量，以避免发送大量请求。这实际上也是最大记录批量的上限。请注意，服务器对记录批量大小有自己的上限，这可能与此不同。