Kafka制作者配额和超时异常

Question

我正在尝试提出一种配置，该配置将根据生产者的平均字节率强制实施生产者配额设置。我用一个3节点集群做了一个测试。但是，该主题是使用1个分区和1个复制因子创建的，因此只能为1个代理（leader代理）测量生产者字节率。

我在客户端IDtest_producer_quota将producer_byte_rate设置为20480。

我使用Kafka-生产者-性能-测试来测试吞吐量和油门。

kafka-producer-perf-test --producer-props bootstrap.servers=SSL://kafka-broker1:6667 \
client.id=test_producer_quota \
--topic quota_test \
--producer.config /myfolder/client.properties \
--record.size 2048  --num-records 4000 --throughput -1

我希望producer客户机了解节流阀，并最终平滑发送给代理的请求。相反，我注意到在超过30秒的时间内，有98秒/秒和21秒/秒的交替throghput。在这段时间内，平均延迟缓慢增加，最后当它达到120000毫秒时，我开始看到超时异常，如下所示

组织。阿帕奇。Kafka。常见的错误。TimeoutException:自批创建以来，配额测试-0的7条记录已过期：120000毫秒。

是什么导致了这个问题？

1. 当延迟达到120秒（delivery.timeout.ms的默认值）时，生产商正在超时
2. 为什么生产商不了解节流阀和配额，以及减速或后退其他生产商配置有助于缓解超时问题

Answer 1

（2048*4000）/20480=400（秒）

这意味着，如果您的生产者试图全速发送4000条记录（这是因为您将吞吐量设置为-1），那么它可能会批处理它们并将其放入队列中。取决于您的CPU）。

然后，由于配额设置（20480），您可以确保代理不会在至少399或398秒之前“完成”对这4000条记录的处理。

The broker does not return an error when a client exceeds its quota, but instead attempts to slow the client down. The broker computes the amount of delay needed to bring a client under its quota and delays the response for that amount of time. 

您的请求。超时。ms被设置为120秒，则会出现此timeoutException。