如何提高Spring Kafka消费者每批消费的消息数？
我正在构建一个使用来自Kafka主题的消息并执行数据库更新任务的Kafka消费者应用程序。消息是每天一次大批量生产的--所以该主题在10分钟内加载了大约100万条消息。主题有8个分区。
Spring Kafka消费者（使用@KafKalistener注释并使用ConcurrentKafkaListenerContainerFactory）在非常短的批处理中被触发。
批处理大小有时仅为1或2条消息。如果它能够一次消耗大约1000条消息并一起处理它（例如，我可以在单个更新SQL中更新数据库），而不是为每个消息连接到数据库，那么它将有助于性能。
我已经尝试降低工厂中的并发度，以避免多个线程消耗更少数量的消息。
有没有其他的配置我可以用来增加消费者的浴缸大小？
共有1个答案
请参阅kafka使用者属性max.poll.records,fetch.min.bytes,fetch.max.wait.ms,fetch.max.bytes,max.partition.fetch.bytes。
最有可能是fetch.min.bytes和fetch.max.wait.ms。
-
我正在使用Spring Kafka consumer,它从主题中获取消息并将其保存到数据库中。如果满足故障条件，例如db不可用，kafka消费者库是否提供重试机制？如果是，是否有方法设置不同的重试间隔，如第1次重试应在5分钟后进行，第2次重试应在30分钟后进行，第3次重试应在1小时后进行等。
-
在使用Spring Kafka Consumer时，我有时会收到以下错误消息。如代码片段所示，我至少实现了一次语义 1）我的疑问是，我是否错过了来自消费者的任何信息？ 2） 我需要处理这个错误吗。由于 org.apache.kafka.clients.consumer.提交失败异常：无法完成偏移提交，因为消费者不是自动分区分配的活动组的一部分；消费者很可能被踢出组。 我的SpringKafka消费
-
我有一个简单的Kafka设置。生成器正在以较高的速率向单个分区生成具有单个主题的消息。单个使用者正在使用来自此分区的消息。在此过程中，使用者可能会多次暂停处理消息。停顿可以持续几分钟。生产者停止产生消息后，所有排队的消息都将由使用者处理。生产者产生的消息似乎不会立即被消费者看到。我使用的是Kafka0.10.1.0。这里会发生什么？下面是使用消息的代码部分： 代理上的所有配置都保留为kafka默认
-
我在ActiveMQ中使用异步消息使用者。我的制作人工作正常，向队列发送消息。现在，我的异步消息消费者正在等待调用onMessage（），但这从未发生过。因此，问题是： 异步使用者不会使用消息 ActiveMQ日志的快照还显示了许多刚刚堆积在挂起状态中的消息： 我想不出问题到底出在哪里。 计数： toPageIn 78 只是不断增加，信息仍然无法传递给消费者。 是服务器端问题还是客户端问题？
-
我有一个springboot消费者应用程序。当我第一次运行它时，它消耗了来自Kafka主题的信息。但当我再次运行它时，它停止了消耗。在日志中，我看到以下消息。 我知道消费者无法获得偏移量。在这种情况下，消费者将引用自动偏移重置属性。如您所见，我已将其设置为，希望消费者从头开始阅读。但它没有。 应用程序. yml 在我的Java课上 我尝试了一些东西。 我将值设置为。不出所料，它抛出了一个异常，抱怨
-
我要求从主题中读取消息，对它们进行批处理，然后将批处理推送到外部系统。如果批处理因任何原因失败，我需要再次使用同一组消息并重复该过程。因此，对于每个批处理，每个分区的 from 和 to 偏移量都存储在数据库中。为了实现这一点，我通过向读取器分配分区来为每个分区创建一个Kafka使用者，基于先前存储的偏移量，使用者寻求该位置并开始读取。我已关闭自动提交，并且不提交来自使用者的偏移量。对于每个批处理