具有相同组id的多个消费者
我是Kafka的初学者。我知道具有相同组id的多个消费者不能在一个主题中使用来自同一个分区的消息。我想知道如果来自一个消费组的多个Kafka消费者从一个分区读取相同的消息会发生什么，为什么这是一件坏事。
。
共有1个答案
显然，多次处理同一记录几乎从未打算过，但更多的是归结为偏移管理
如果一个组中的多个使用者读取同一条消息，并提交该消息的偏移量以表明该消息已被成功处理，则最后提交的(最慢的使用者)总是胜出。与此同时，其他消费者可能已经在继续处理其他数据了。
如果发生这种情况，并且任何客户机重新启动，则需要倒回到最后提交的偏移量，尽管之后已经处理了消息
-
我对Kafka是陌生的。我用spring boot创建了一个kafka消费者(spring-kafka dependency)。在我的应用程序中，我使用了consumerFactory和producerfactory beans进行配置。所以在我的应用程序中，我创建了如下的kafka消费者。 我的配置如下 所以我想并行消费，因为我可能会收到更多的消息。关于使用并行主题，我发现我需要为一个主题创建多
-
我正在尝试对消费者群体进行实验 这是我的代码片段 } 当我同时运行两个spark流媒体作业时，它会出错 线程“main”java中出现异常。lang.IllegalStateException:当前没有分配给组织上的分区venkat4-1。阿帕奇。Kafka。客户。消费者内部。订阅状态。组织上的assignedState（SubscriptionState.java:251）。阿帕奇。Kafka。
-
我试图有多个消费者的Kafka主题的多个分区与相同的groupId，这将帮助我扩大消费的消息。 根据Kafka的文件，它说： 如何让多个消费者拥有相同的消费者groupId，以实现负载平衡？
-
由于消息需求的排序，我们有一个主题和一个分区。我们有两个消费者运行在不同的服务器上，具有相同的配置集，即groupId、consumerId和consumerGroup。即 1主题- 当我们部署消费者时，相同的代码会部署在两台服务器上。当消息到来时，我们会注意到两个消费者都在消费消息，而不是只有一个处理。让消费者在两台独立的服务器上运行的原因是，如果一台服务器崩溃，至少其他服务器可以继续处理消息。
-
有以下消费者代码: 然后我用脚本生成消息: 问题是，当我将消费者作为两个不同的进程启动时，我会在每个进程中收到新消息。但是，我希望它只发送给一个消费者，而不是广播。 在Kafka的文献中(https://kafka.apache.org/documentation.html)其中写道： 如果所有使用者实例都具有相同的使用者组，则其工作原理就像在使用者之间平衡负载的传统队列一样。 我发现这些消费者的
-
我以前认为设置我的消费者将始终收到他们尚未收到的消息，但最近我发现情况并非如此。这只在使用者尚未提交抵消时才起作用。在任何其他情况下，使用者将继续接收偏移大于其提交的最后偏移的消息。 由于我总是使用随机的组ID创建新的使用者，我意识到我的使用者“没有内存”，他们是新的使用者，并且他们永远不会提交偏移，因此策略将始终适用。我的疑虑就从这里开始了。假设以下场景： 我有两个客户端应用程序，A和B，每个客