当前位置: 首页 > 知识库问答 >
问题:

我正在阅读Kafka的文档并试图理解它的工作原理

张逸清
2023-03-14

我正在阅读Kafka的文件,并试图理解它的工作。这是关于消费者的。简而言之,一个主题被划分成若干个分区。有多个消费者组,每个消费者组有多个消费者实例。现在,我的问题是,是否每个分区发送“相同”的消息给每个消费者组,这些消息又被赋予组内的特定消费者实例?

如果我错过了什么,请给我指引。

共有1个答案

符允晨
2023-03-14

简单地说:

>

  • 我们将主题划分为多个分区。

    我们有从这些主题中消费数据的消费者。

    在A组中,每个消费者(SO3)将各自消耗一个分区,而在B组中(有2个消费者),一个消费者将读取2个分区,另一个将消耗最后一个分区。如果我们有一个最后一个消费者组,里面只有一个消费者,它将阅读该主题的所有3个分区。

    希望你能帮上忙,如果你不明白请告诉我。

  •  类似资料:
    • 我有一个关于这个连接器的问题。如果我的Spark集群和Cassandra集群不在同一个集群上,读取如何工作?Spark是否将整个Cassandra表带入自己的集群并将其重新排列到Spark分区中?

    • 本文向大家介绍kafka工作原理?相关面试题,主要包含被问及kafka工作原理?时的应答技巧和注意事项,需要的朋友参考一下 producer向broker发送事件,consumer从broker消费事件。 事件由topic区分开,每个consumer都会属于一个group。 相同group中的consumer不能重复消费事件,而同一事件将会发送给每个不同group的consumer。

    • 我做了一个两个类,一个文本文件,和一个应该打印出来的代码,但无论我做什么,它仍然变成空?我试图通过使用InventoryTester中的Book类中的toString方法和Inventory类中的printInventory从文本文件中读取代码。 我的第一个代码是在应该打印的内容上派生的。我做了一个构造函数,我用setter和getter来做这个。然后用toString()方法结束它。我做了一个B

    • 我跟踪这个链接Instagram实时更新标签-得到空数据,为什么?实现Instagram实时订阅。 我在想我是否需要点击网址每次为了检查新的更新,将如何工作?。有些人正在使用nodejs、socketio等,我不想深入讨论这些。 我试图通过这一点实现的是,每次都是一个新的更新,它开始自动得到分析,而不让我的系统知道哪个图像是Mointor。(我已经实现了这部分),但停留在实时。 对此有任何建议。

    • 假设我在Heroku Rails上有以下设置,一个web dyno和两个worker dyno。 下面是我相信是真的,我希望有人能证实这些说法或指出一个不正确的假设。 我对这一点很有信心,但我对客户端和服务器的使用感到有点困惑,“连接池”指的是DB和Redis连接,“工作者”指的是puma和heroku dyno工作者。 我想是水晶清楚我希望这也可以作为一个综合指南为任何其他初学者有困难与此 谢谢

    • /并不意味着任何类型的并发。使用/编写的应用程序可以完全是单线程的,同时仍然可以获得所有的好处,这与Node.js(尽管有回调)的做法很相似。与Node.js不同,.NET是多线程的,因此通过具有/,您可以在不使用回调的情况下获得非阻塞IO的好处,同时还具有多个执行线程。 /在等待IO完成时释放线程来执行其他操作。它还可以与TPL一起使用,在多个线程上执行CPU绑定的工作,或者在UI线程之外执行C