当前位置: 首页 > 知识库问答 >
问题:

Kafka:我们可以让消费者订阅同一个主题,但在主题内部有不同的管道吗?

谷博艺
2023-03-14

我有200个Kafka消费者,他们可以做这两件事中的任何一件,1。他们可以订阅200个不同的主题,并将使用敏感的消息。2、所有200名消费者均可订阅单个话题。

null

共有1个答案

卫甫
2023-03-14
  1. 创建200个或大量主题是好的设计吗?

Kafka对主题使用复制文件,由于它使用基于偏移量的消息传输,主题的数量对性能没有直接影响,所以这不是问题。

您不能基于一个参数来完成此操作,如果您需要将一个消息传递给一个消费者,那么您需要将所有消费者分组到一个消费者组中,并使整个组收听一个主题。这样,消息将只由该消费者组中的一个消费者使用。

如果您需要顺序(有序)的消息消费,那么您需要创建您的Kafka主题只有1个分区。

 类似资料:
  • 我有一个spring boot项目,我是spring-kafka来连接底层的kafka事件枢纽。 我不得不在同一节消费者课上听2个不同的话题。我有两种方法可以这样做。 一个是要有两个这样的Kafka听众: 另一种方法是在同一个kafkaListener中有两个主题,如下所示 ===================edit===============application.yml中的Kafka属性

  • 默认情况下,多个Kafka消费者可以从同一主题的同一分区中阅读吗?默认情况下,我的意思是,由于group.id不是强制性的,我想知道如果我在没有指定任何group.id的情况下生成多个kafka消费者,并给他们相同的主题和分区名,他们能够从相同的分区读取吗?我理解,如果我为每个Kafka消费者指定不同的组名,那么所有消费者都可以从同一个分区读取。

  • 我们有一个Kafka主题,有源源不断的数据。为了处理它,我们有一个无状态的Flink管道,它使用该主题并写入另一个主题。 我们是不是漏掉了什么?我们误会什么了吗?有没有更好的解决办法? 谢了!

  • 在我的Spring Boot Kafka应用程序中,我有以下使用者配置: 消费者: 如果我理解正确的话,现在我有一个消费者的实例。我想增加post消费者的数量,假设有5个消费者将消费来自${kafka.topic.post.send}的不同(不同)消息,以加快消息消费。 它是否像添加工厂一样简单。setConcurrency(5) 至我的PostKafkAlisterContainerFactor

  • 我怎样才能暗示SpringKafka把每一个话题传播给一个不同的消费者呢? 干杯

  • 我有一个主题列表(目前是10个),其大小可以在未来增加。我知道我们可以产生多个线程(每个主题)来消耗每个主题,但在我的例子中,如果主题的数量增加,那么消耗主题的线程数量也会增加,这是我不希望的,因为主题不会太频繁地获取数据,所以线程将是理想的。 有没有办法让单个消费者从所有话题中消费?如果是的话,我们怎样才能做到呢?另外,Kafka将如何维护抵消?请建议答案。