Kafka消费者停止消费消息

Question

我有一个简单的Kafka设置。生成器正在以较高的速率向单个分区生成具有单个主题的消息。单个使用者正在使用来自此分区的消息。在此过程中，使用者可能会多次暂停处理消息。停顿可以持续几分钟。生产者停止产生消息后，所有排队的消息都将由使用者处理。生产者产生的消息似乎不会立即被消费者看到。我使用的是Kafka0.10.1.0。这里会发生什么？下面是使用消息的代码部分：

            while (true)
            {
                try
                {
                    ConsumerRecords<String, byte[]> records = consumer.poll(100);
                    for (final ConsumerRecord<String, byte[]> record : records)
                    {
                        serviceThread.submit(() ->
                        {
                            externalConsumer.accept(record);
                        });
                    }
                    consumer.commitAsync();
                } catch (org.apache.kafka.common.errors.WakeupException e)
                {
                }
            }

代理上的所有配置都保留为kafka默认值。

我还使用kafka-consumer-groups.sh来检查当consumer不使用消息时发生了什么。但是当这种情况发生时，Kafka-Consumer-Groups.sh也将挂在那里，无法获得信息。有时会引发消费者的重新平衡。但不总是。

Answer 1

对于那些能发现这有帮助的人来说。我经常遇到这个问题（当Kafka默默地停止消费时），每一次都不是Kafka的问题。

通常是一些长时间运行或挂起的沉默过程阻止Kafka提交偏移。例如，试图连接到数据库的数据库客户端。如果等待足够长的时间（例如，SQLAlchemy和Postgres为15分钟），您将看到一个异常将打印到STDOUT，表示类似连接超时的内容。