这是否意味着即使有一个使用者实例,我们也能够并行地使用来自三个分区的消息。
这是否可以作为替代,以增加Kafka主题的消耗率,而不增加分区的数量。我知道的唯一的另一种方法是创建一个线程池,并将接收到的消息提交给它。我们是否可以使用ConcurrentKafkaListenerContainerFactory作为该流程的替代,因为这听起来显然更容易实现。
ConcurrentKafKalistenerContainer
根据您的配置创建KafKaconsumer
实例的数量。这就是您可以并行读取不同分区的方式。
不要将KafKaconsumer
对象与一般的使用者实体定义混合使用。换句话说,根据Apache Kafka定义,您的使用者应用程序绝对不是Kafka使用者对象。这不是第一次,虽然我听说人们称他们的应用程序为“Kafka消费者”……你读过什么博士让你这么想?
有关Apache Kafka的Spring并发性的更多信息,请参见其文档:https://docs.Spring.io/Spring-Kafka/docs/current/reference/html/#message-listener-container
生产者发送消息到一个有四个分区的主题。我们有一个消费者在消费来自这个主题的消息。应用程序在工作日一直运行周末例外:它不会在周末期间调用poll方法。 使用者配置:自动提交,自动提交时间为5s(默认)。 应用程序一直运行良好,直到一个星期天,当它重新开始调用poll方法。我们看到有数百万条消息从这个话题中被轮询出来。消费者基本上是轮询来自主题的所有消息。将新的偏移量与它在周末停止之前的偏移量进行比较
有人能帮我弄清楚这件事吗。 谢了!
D: \软件\Kafka\Kafka2.10-0.10.0.1\bin\windows 我使用上面的命令来消费消息,有什么我错过的吗?帮助我: 这个 那些是生产者和消费者......
我们使用Akka流Kafka来生成和消费消息和Strimzi Kafka集群。以下是相关版本: 重构消息发出后,消费者停止工作。我们在主题中确实有一些信息,但消费者只是在无休止地等待。 以下是日志片段: 还有一些要点: 架构注册表配置正确且良好(否则生产者将无法工作)。 主题(和组协调器)很好,我可以通过这样的普通消费者消费消息: 这就是代码卡住的地方——我使用阻塞调用获取2条消息(甚至无法获取1
我试图消费一个Kafka主题从Spring启动应用程序。我使用的是下面提到的版本的Spring云流 Spring boot starter父级:2.5.7 Spring云版本:2020.0.4 下面是代码和配置 application.yml 消息消费者类 下面的消息发布者正在正确地发布消息。发布者是在不同的微服务中编写的。 pom.xml
我必须记录消费者在SpringKafka中花费的时间。由于kafkaListener方法对每条消息都执行,因此在那里放置一个记录器是行不通的。此外,有时一些信息会丢失,而不是被消费者消费掉。我应该把记录器放在哪里,以找出消费者启动后的弹性时间。使用者不会退出或关闭,其轮询将无限期进行