Kafka——特定抵消的消费群体创造？

Question

在Kafka中创建主题后，您可以创建任意数量的消费者组，只需尝试使用这些组来阅读主题。

我想创建一个额外的消费者组来监控真实消费者组的消息内容——一个用来偷看他们消息的组。因此，GUI会让您单击任何消费者组的“偷看”，“偷看”组的偏移量将更新为被监控组的偏移量，然后它会向您显示该偏移量中的消息。

不过我很困惑，因为你不能在第一次就明确地创建一个消费者群体。您似乎必须阅读一条消息才能获得在动物园管理员中创建的偏移节点。

我的问题

有没有一种方法可以显式地创建一个指向特定偏移量的使用者组，或者可以为一个尚未使用的使用者组手动创建zookeeper节点，以便将其初始化为正确的偏移量值？或者这种自动创建会打乱消费者群体的分配过程吗？

Answer 1

如上所述，Kafka Manager有一个非常好的界面，值得您花时间进行设置。但是如果你想要CLI版本，正如我所需要的，下面的应该可以：

groupId="legitGroupId"
kafka="localhost:9092"
declare -a topics=(
    "topic1" 
    "topic2"
    )

# Create a single consumer of all the topics which starts starts at each topics latest offset
# Use --dry-run instead of --execute to see how the end results will look
for topic in "${topics[@]}"; do
    echo "Adding consumer to $topic"
    kafka-consumer-groups --bootstrap-server $kafka --topic $topic --group $groupId --execute --reset-offsets --to-latest
    echo ""
done

Answer 2

你可以看看Kafka Web控制台项目，它已经做了一些和你描述的类似的事情。

如果您想自己做这件事，您需要使用简单的消费者API，并手动处理新消费者组（存储在Zookeeper或其他地方）的偏移量。您可以从现有消费者组获取当前偏移量，然后使用相同的偏移量为您的peek组读取消息。只要组ID不同，它们就不应该相互干扰或搞砸任何事情。

Answer 3

对于读者，不再支持Kafka Web 控制台。请考虑Kafka经理。