当前位置: 首页 > 知识库问答 >
问题:

在Camel-Kafka中创建并发的Kafka消费者

齐雅畅
2023-03-14

我使用的是camel-kafka版本2.14.3。以下是KafkaURI:

<from uri="kafka:{brokerlist}?topic={topic-name}&amp;zookeeperHost={zookeeperHost}&amp;zookeeperPort={zookeeperPort}&amp;groupId={groupId-name}&amp;consumerStreams=2" />

请注意,我在URI选项中使用了consumerstream=2。但是,当我一次将多条消息发布到主题topic-name时(全部发布到同一个分区),kafka使用者将依次接收这些消息。怎样才能同时接收到这些信息?

我正在寻找如下的解决方案:

<from uri="ibm_bean_name:queue_name?concurrentConsumers=2" /> 

是我用来从ibm MQ中同时读取的内容

共有1个答案

罗法
2023-03-14

分区是Kafka的平行单位。每个分区将被分配给给定消费者组中的单个消费者。你说你在一个分区生产。这意味着所有的消息都将发送给一个消费者,而不管你在组中有多少消费者。如果希望消息发送到不同的使用者,则需要将消息发送到不同的分区。

 类似资料:
  • 问题内容: 可用的库是sarama(或其扩展sarama- cluster ),但是没有提供消费者群体示例,在sarama或sarama-cluster中均未提供。 我不了解API。我可以举一个为主题创建消费者组的示例吗? 问题答案: 消费方组由集群消费方“构造函数”的第二个参数指定。这是一个非常基本的草图: 因此,您将拥有一个属于指定消费者组的消费者。

  • 使用Spring-Cloud-Stream的kafka绑定器,如何配置并发消息消费者(在单个消费者jvm中)?如果我没有理解错的话,在使用kafka时并发使用消息需要分区,但是s-c-s文档指出,要使用分区,您需要通过partitionKeyExpression或PartitionKeyExtractorClass在生成器中指定分区选择。Kafka博士提到循环分区。 s-c-s文档根本没有提到sp

  • 假设我有一个服务,它通过kafka-rest-proxy来消费消息,并且总是在同一个消费者组上。我们还可以说,它正在消耗一个有一个分区的主题。当服务启动时,它在kafka-rest-proxy中创建一个新的使用者,并使用生成的使用者url,直到服务关闭。当服务重新启动时,它将在kafka-rest-proxy中创建一个新的消费者,并使用新的url(和新的消费者)进行消费。 > 因为kafka每个分

  • 我试图构建一个简单的spring boot Kafka Consumer来消费来自Kafka主题的消息,但是由于KafkaListener方法没有被触发,所以没有任何消息被消费。 Java类: start.java: kafkaConsumerConfig.java:

  • 我刚接触Kafka,很少阅读教程。我无法理解使用者和分区之间的关系。 请回答我下面的问题。 > 消费者是否由ZK分配到单个分区,如果是,如果生产者将消息发送到不同的分区,那么其他分区的消费者将如何使用该消息? 我有一个主题,它有3个分区。我发布消息,它会转到P0。我有5个消费者(不同的消费者群体)。所有消费者都会阅读P0的信息吗?若我增加了许多消费者,他们会从相同的P0中阅读信息吗?如果所有消费者

  • 当我向主题“Test19”发送任何消息时,配置的ServiceActivator“ProcessMessage”方法将两条消息显示为配置的两个客户,但这里的问题是,在添加到消费者上下文之前,我需要为每个客户加载入站配置文件…否则,我只能在控制台中得到一条消息…是正确的方式还是我需要在这里改变什么? 谢了。