Kafka消费者会议计时结束

Question

我们有一个应用程序，消费者读取一条消息，线程执行许多操作，包括在生成另一主题的消息之前访问数据库。在线程上消耗和生成消息之间的时间可能需要几分钟。一旦生成了指向新主题的消息，就会进行提交，以表明我们已经完成了对消费者队列消息的处理。自动提交因此被禁用。

我正在使用高级消费者，我注意到的是zoowatch和kafka会话超时，因为我们在消费者队列上做任何事情之前需要太长时间，所以kafka每次线程返回以从消费者队列中读取更多内容时都会重新平衡，并开始花很长时间消费者才会在一段时间后阅读新消息。

我可以设置动物园管理员会话超时非常高，不使这成为一个问题，但然后我必须相应地调整再平衡参数，Kafka不会拿起一个新的消费者在其他副作用。

我有什么办法来解决这个问题？有没有办法让Kafka和动物园管理员都开心？如果我使用一个简单的消费者，我还会有这些问题吗？

Answer 1

我认为问题在于消费者的投票方法触发了消费者的心跳请求。当你增加训练时。超时。消费者的心跳将无法到达协调器。由于心跳跳动，协调员标记消费者死亡。而且消费者重新加入非常缓慢，尤其是在单一消费者的情况下。

我遇到了一个类似的问题，为了解决这个问题，我必须在consumer配置属性中更改以下参数

session.timeout.ms=request.timeout.ms=超过会话超时

您还必须在服务器中添加以下属性。kafka代理节点上的属性。组最大会话数。超时。ms=

您可以查看以下链接了解更多详细信息。http://grokbase.com/t/kafka/users/16324waa50/session-timeout-ms-limit

Answer 2

听起来，您的问题归结为依赖高级消费者来管理上次读取偏移量。使用一个简单的消费者可以解决这个问题，因为您可以控制该偏移的持久性。请注意，高级消费者提交所做的一切都是将最后读取偏移存储在zoowatch中。没有采取其他操作，您刚刚读取的消息仍在分区中，其他消费者可以读取。

使用kafka simple consumer，您可以更好地控制偏移存储发生的时间和方式。您甚至可以将该偏移保留在Zookeeper之外的其他位置（例如，数据库）。

坏消息是，虽然简单消费者本身比高级消费者更简单，但要使其工作，您还需要在代码方面做更多的工作。您还必须编写代码来访问多个分区——这是高级消费者非常适合您的。