两个连续kafka批次处理之间的长时间延迟（使用ruby/karafka消费者）

Question

我正在使用karafka阅读主题，并调用外部服务。每次调用外部服务大约需要300毫秒。在消费者组中运行3个消费者（k8s中的3个pod），我预计每秒可以实现10个事件。我看到这些日志线，这也证实了处理每个单独事件的300ms预期。然而，整体吞吐量不相加。每个karafka进程似乎在处理两批事件之间卡住了很长时间。

遵循围绕 use 方法的检测，意味着使用者代码本身不会花费时间。

https://github . com/Kara fka/Kara fka/blob/master/lib/Kara fka/backends/inline . Rb # L12

INFO Inline processing of topic production.events with 8 messages took 2571 ms

INFO 8 messages on production.events topic delegated to xyz

然而，我注意到两件事：

> < li>

当我在3个pod上跟踪日志时，每次3个pod中似乎只有一个发出日志。这对我来说没有意义。因为所有分区都有足够的事件，并且每个消费者应该能够并行消费。

尽管上面的消息大致显示每个事件321ms（2571/8），但实际上我看到日志在两个批处理之间停滞了很长时间。我很好奇，时间去哪儿了？

====== 编辑：

经纪人之间的数据分布存在一定的偏差，因为我们最近将经纪人从3个扩展到总共6个。然而，没有一个经纪人受到cpu或磁盘压力。这是一个新的集群，在高峰时间几乎不使用4-5%的cpu。

我们的数据平均分布在3个分区中——我这么说是因为每个分区的最后偏移量大致相同。

然而，我确实看到一个消费者永远落后于其他两个。下表显示了我的消费者的滞后。每个分区有一个使用者进程：

这是所有3个消费者的日志截图。您可以注意到每次调用< code>consume函数所花费的时间和两次相邻调用之间的时间间隔之间的巨大差异。基本上，我想解释和/或减少等待时间。这个主题中有100k个事件，我的虚拟karafka应用程序能够快速检索它们，所以kafka经纪人不是问题。

将max_wait_time设置为1秒后更新(之前为5秒)

减少等待配置后，问题似乎得到了解决。现在，两个连续日志之间的差异大约等于消耗的时间

2021-06-24 13:43:23.425 Inline processing of topic x  with 7 messages took 2047 ms
2021-06-24 13:43:27.787 Inline processing of topic x with 11 messages took 3347 ms
2021-06-24 13:43:31.144 Inline processing of topic x with 11 messages took 3344 ms
2021-06-24 13:43:34.207 Inline processing of topic x with 10 messages took 3049 ms
2021-06-24 13:43:37.606 Inline processing of topic x with 11 messages took 3388 ms

Answer 1

您可能会面临几个问题。这边有点猜测，没有更多细节，但让我们试一试。

您确定您在分区之间均匀地分布数据吗？也许它正在吃掉一个分区的东西？

你在这里写的：

主题生产的信息内联处理。包含8条消息的事件花费了2571毫秒

这表明有一批 8 个由单个消费者处理。这可能表明数据分布不均匀。

有两个性能属性会影响您对Karafka运行方式的理解:吞吐量和延迟。

< li >吞吐量是在给定时间内可以处理的消息数 < li >滞后时间是指消息从产生到处理的时间。

据我了解，所有的消息都在产生。你可以尝试使用Karafka设置，尤其是这个设置:https://github . com/Kara fka/Kara fka/blob/83 a9 a5 ba 417317495556 C3 ebb4b 53 f 1308 c 80 Fe 0/lib/Kara fka/setup/config . Rb # L114

正在使用的记录器会不时刷新数据，因此您不会立即看到它，而是在一段时间后。您可以通过查看日志时间来验证这一点。