Kafka相同的消费者组用于消息消费者以及流拓扑
我们运行一个集群工作线程应用程序，该应用程序依赖于 Kafka 使用高级消费者 API 使用消息。群集中的所有节点共享同一个使用者组。现在我们想要的是将该逻辑的一部分迁移到 Kafka 流处理器 API。这里的方法是什么？如果分配了相同的 groupId/clientId，流拓扑是否会与现有使用者就消息进行斗争？我们应该分配不同的 groupId/clientId 吗？流式传输拓扑？说“组”。 “后台工作线程流”？
props.put(StreamsConfig.CLIENT_ID_CONFIG, "background-worker");
props.put(ConsumerConfig.GROUP_ID_CONFIG, "group." + "background-worker");
共有1个答案
Kafka Streams需要，使用
-
我是Kafka的新手，我有一个使用Java Apache Camel库实现的Kafka消费者。我发现的问题是-消费者花了很长的时间(>15分钟）来处理很少的消息-这对于我们的用例来说是很好的。 需要一些配置帮助，因为相同的消息会在15分钟后重新发送，如果在15分钟内没有处理（我相信线程控制不会返回）。我想这可能是默认间隔，不确定这是哪一个属性。 那么，我必须在哪里修复配置 生产者级别，以便它不重新
-
我有一个简单的Kafka设置。生成器正在以较高的速率向单个分区生成具有单个主题的消息。单个使用者正在使用来自此分区的消息。在此过程中，使用者可能会多次暂停处理消息。停顿可以持续几分钟。生产者停止产生消息后，所有排队的消息都将由使用者处理。生产者产生的消息似乎不会立即被消费者看到。我使用的是Kafka0.10.1.0。这里会发生什么？下面是使用消息的代码部分： 代理上的所有配置都保留为kafka默认
-
是否有一种方法以编程方式访问和打印使用者滞后偏移，或者说使用者读取的最后一条记录的偏移与某个生产者写入该使用者分区的最后一条记录的偏移之间的位置差。 要知道我的最终目标是将这个值发送到prometheus进行监视，我应该在上面添加哪些语句来得到滞后偏移值？
-
我正在尝试让 kafka 消费者获取在 Java 中生成并发布到主题的消息。我的消费者如下。 consumer.java 当我运行上面的代码时，我在控制台中什么也看不到，屏幕后面的java producer程序正在‘AATest’主题下不断地发布数据。另外，在动物园管理员控制台中，当我尝试运行上面的consumer.java时，我得到了以下行 此外，当我运行指向 AATest 主题的单独控制台使用
-
有什么方法可以阻止Kafka的消费者在一段时间内消费信息吗？我希望消费者停止一段时间，然后开始消费最后一条未消费的消息。
-
我是Kafka的新手，我对消费者的理解是，基本上有两种类型的实现 1）高级消费者/消费者群体 2）简单消费者 高级抽象最重要的部分是当Kafka不关心处理偏移量，而Simple消费者对偏移量管理提供了更好的控制时使用它。让我困惑的是，如果我想在多线程环境中运行consumer，并且还想控制偏移量，该怎么办。如果我使用消费者组，这是否意味着我必须读取存储在zookeeper中的最后一个偏移量？这是我