如果我使用两组 Kafka-0.8.0 简单消费者，是否会有重复
这是参考简单消费者示例和高级消费者示例。
根据文档，它似乎表明 SimpleConsumers 负责管理偏移量本身，他们可以选择多次读取消息或仅使用主题中分区的子集。所有这些都是可能的，因为他们可以形成他们的请求并指定他们想要的偏移量。
现在，如果我有两个简单消费者集群，并且都使用不同的 zookeeper 来存储偏移量，那么这两个集群很可能会读取重复的消息。这种理解正确吗？为了避免它们之间的重复，他们必须使用单个动物园管理员集群来存储偏移量。
消费者组的概念仅适用于高级消费者。因此，如果我有两个高级使用者集群，并且都使用相同的组 ID，那么它们将不会收到任何重复的消息。
如果以上不正确，请提出建议。
共有2个答案
如果您使用的是高级使用者和相同的组 ID，则在从同一主题使用时不会有重复的消息。
如果使用简单使用者，则完全取决于您如何维护偏移量。如果两个使用者的偏移量同步，即它们保持相同的偏移量水平，则不会有任何重复。在您的情况下，它可能会导致重复，因为您是单独维护偏移量。
简单的消费者不使用 zookeeper 来存储偏移量。建议不要将 Zookeeper 用作保存已处理记录偏移量的存储。
消费者组的概念仅适用于高级消费者。因此，如果我有两个高级消费者集群并且都使用相同的组 ID，那么它们将不会收到任何重复的消息
两个集群是什么意思？如果两个使用者属于同一组（具有相同的组 ID），则您的陈述是正确的。
-
我是Kafka的新手，我对消费者的理解是，基本上有两种类型的实现 1）高级消费者/消费者群体 2）简单消费者 高级抽象最重要的部分是当Kafka不关心处理偏移量，而Simple消费者对偏移量管理提供了更好的控制时使用它。让我困惑的是，如果我想在多线程环境中运行consumer，并且还想控制偏移量，该怎么办。如果我使用消费者组，这是否意味着我必须读取存储在zookeeper中的最后一个偏移量？这是我
-
本文向大家介绍什么是kafka消费者组？相关面试题，主要包含被问及什么是kafka消费者组？时的应答技巧和注意事项，需要的朋友参考一下 答：消费者组的概念是Apache Kafka独有的。基本上，每个Kafka消费群体都由一个或多个共同消费一组订阅主题的消费者组成。
-
我是Kafka的新手，运行一个简单的Kafka消费者/生产者的例子，就像在Kafka消费者和KafkaProducer上给出的那样。当我从终端运行消费者时，消费者正在接收消息，但我不能使用Java代码监听。我也在StackoverFlow上搜索了类似的问题（链接： Link1，Link2），并尝试了解决方案，但似乎没有什么对我有用。kafka版本：和相应的maven依赖在pom中使用。 Java生
-
我正在尝试用Java实现一个简单的生产者-->Kafka-->消费者应用程序。我能够成功地生成和使用消息，但是当我重新启动消费者时，问题就出现了，其中一些已经使用的消息再次被消费者从Kafka中拾取（不是所有的消息，而是最近使用的一些消息）。 我已在我的使用者中设置了，并且我的属性设置为1000毫秒。 “重新传递一些已使用的消息”是一个已知的问题，还是有任何其他设置，我没有在这里？ 基本上，有没有
-
谁能请解释和指导我链接或资源阅读关于Kafka消费者如何在下面的场景下工作。 > 一个有5个消费者的消费者组和3个分区的主题（Kafka是如何决定的） 一个消费者组有5个消费者，主题有10个分区（kafka如何分担负载） 两个消费者组和两个服务器的kafka集群，其中一个主题被划分在节点1和节点2之间，当来自不同组的消费者订阅到一个分区时，如何避免重复。 上面可能不是配置kafka时的最佳实践，但
-
我需要想办法向Kafka要一份题目清单。我知道可以使用目录中包含的脚本来实现。一旦我有了这个列表，我需要每个主题的所有消费者。我在该目录中找不到脚本，在库中也找不到允许我这样做的类。 这背后的原因是，我需要弄清楚话题的偏移和消费者的偏移之间的区别。 有没有办法做到这一点？还是需要在每个消费者中实现此功能？
-
在我们的spring boot应用程序中，我们注意到Kafka消费者偶尔会在prod env中随机消费两次消息。我们在PCF中部署了6个实例和6个分区。我们发现在同一主题中收到两次具有相同偏移量和分区的消息，这会导致重复，对我们来说是业务关键。我们在非生产环境中没有注意到这一点，在非生产环境中很难复制。我们最近转向Kafka，但我们无法找到根本问题。 我们使用的是spring cloud stre
-
我正在做一个Kafka的消费者计划。最近我们在PROD环境下进行了部署。在那里,我们面临以下问题： 我的理解是，当组协调器不可用并被重新发现时，心跳间隔（根据文档为3秒）过期，消费者被踢出组。这是正确的吗？。如果是这样的话，应该为这个工作做些什么呢？。如果我错了，请帮助我理解这个问题，并建议您有任何想法，以解决这个问题。如果需要，我可以分享代码。