当前位置: 首页 > 知识库问答 >
问题:

Kafka的消费者如何与服务器通信?

狄令
2023-03-14
  1. Kafka消费者是否一直在检查代理(Kafka服务器)的运行状况,反之亦然
  2. 让我们说,无论如何,消费者和经纪人都知道彼此的健康状况,那么消费者将如何准确地从分区中读取
  3. 假设一个主题有48个分区,该主题有两个使用者组,那么有多少线程将使用所有分区中的数据

共有1个答案

商和雅
2023-03-14
  1. 消费者发送健康检查,以便经纪人知道消费者是否健康。代理的运行状况由Controller控制,Controller是一个Kafka服务,在Kafka集群中的每个代理上运行,但在任何时间点都只能有一个代理处于活动状态(选定)
  2. 有关详细说明,请参阅此视频。简言之,小组中的第一个消费者是领导者,并决定同一小组中其他消费者的任务。这些数据被发送到代理,并在消费者之间分发
  3. 线程管理是您自己的责任。KafkaProducer和KafkaConsumer都是单线程组件
 类似资料:
  • 是否有一种方法以编程方式访问和打印使用者滞后偏移,或者说使用者读取的最后一条记录的偏移与某个生产者写入该使用者分区的最后一条记录的偏移之间的位置差。 要知道我的最终目标是将这个值发送到prometheus进行监视,我应该在上面添加哪些语句来得到滞后偏移值?

  • 本文向大家介绍Kafka 的消费者如何消费数据相关面试题,主要包含被问及Kafka 的消费者如何消费数据时的应答技巧和注意事项,需要的朋友参考一下 消费者每次消费数据的时候,消费者都会记录消费的物理偏移量(offset)的位置 等到下次消费时,他会接着上次位置继续消费

  • 我有一个Kafka代理,有多个主题,每个主题都有一个分区。 我有一个消费者,它可以很好地使用主题中的消息 我的问题是,我需要通过增加分区的数量来提高消息队列的吞吐量,比如说,我在一个主题上有四个分区,有没有一种方法可以让我编写四个消费者,每个消费者都指向该主题上的各个分区??? }

  • Flink kafka消费者有两种类型的消费者,例如: 这两个消费者层次结构扩展了相同的类。我想知道维护编号类背后的设计决策是什么?我们什么时候应该使用其中一种? 我注意到带有数字后缀的类有更多的特性(例如ratelimiting)。 https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka

  • 我刚接触Kafka,很少阅读教程。我无法理解使用者和分区之间的关系。 请回答我下面的问题。 > 消费者是否由ZK分配到单个分区,如果是,如果生产者将消息发送到不同的分区,那么其他分区的消费者将如何使用该消息? 我有一个主题,它有3个分区。我发布消息,它会转到P0。我有5个消费者(不同的消费者群体)。所有消费者都会阅读P0的信息吗?若我增加了许多消费者,他们会从相同的P0中阅读信息吗?如果所有消费者

  • 我有一个Kafka主题,我正在通过Kafka生产者发送数据。现在在消费者方面,我有两个选择。 null