Kafka镜像集群中如何维护客户偏移？
假设我有两个Kafka集群，我使用mirror maker将主题从一个集群镜像到另一个集群。我知道consumer有一个嵌入式生产者，可以向Kafka集群中的\uu consumer-offset主题提交偏移量。我想知道如果Kafka星系团的初选失败会发生什么？我们是否也同步_消费者补偿主题？因为第二集群可能有不同数量的代理和其他设置，我认为。
请告诉我Kafka镜像集群是如何处理消费者补偿的？
auto.offset.reset设置在这里起作用吗？
共有1个答案
使现代化
自Apache Kafka 2.7.0以来，MirrorMaker能够复制已提交的偏移量。参考https://cwiki.apache.org/confluence/display/KAFKA/KIP-545：在MM 2.0中支持跨集群的自动消费者偏移同步
原始答案
镜像制造商不复制补偿。
此外，auto。抵消reset与此完全无关，因为它是一个消费者设置，定义消费者应该从何处开始读取案例，在启动时找不到有效的提交偏移量。
不镜像偏移量的原因基本上是，它们在镜像集群上可能没有意义，因为不能保证消息在两个集群中具有相同的偏移量。
因此，在故障转移的情况下，你需要自己找出一些“聪明”的东西。一种方法是记住上次处理的记录的元数据时间戳。这允许您根据镜像集群上的时间戳“搜索”，以找到大致的偏移量。（这需要Kafka0.10。）
-
注： 内容翻译自 Maintenance 概述 etcd 集群需要定期维护来保持可靠。基于 etcd 应用的需要，这个维护通常可以自动执行，不需要停机或者显著的降低性能。 所有 etcd 的维护是指管理被 etcd 键空间消耗的存储资源。通过存储空间的配额来控制键空间大小;如果 etcd 成员运行空间不足，将触发集群级警告，这将使得系统进入有限操作的维护模式。为了避免没有空间来写入键空间， etc
-
我们已经设置了MirrorMaker来跨两个Kafka集群复制消息。我们还在镜像制造商消费者属性中设置了来复制内部主题。我假设这也将复制，这将反过来同步辅助集群中的消费者组偏移量。 但是，当我们在二级集群中启动消费者组时，它从一开始就开始使用消息，因此看起来消费者组偏移量在二级群集中没有得到复制。 有人能提供一些建议吗？我们如何使用MirrorMaker或任何其他解决方案在辅助集群中同步消费者组偏
-
在网上搜索如何在kubernetes中部署本地构建的docker映像，我只找到了与minikube结合的解决方案。 例如：minikube 因此，我想知道，是否可以在由建立的Kubernetes集群中使用本地构建docker镜像，或者是将这些镜像部署到私有注册中心并随后从集群中提取镜像的首选方法？
-
我们都知道，ES 中的 master 跟一般 MySQL、Hadoop 的 master 是不一样的。它即不是写入流量的唯一入口，也不是所有数据的元信息的存放地点。所以，一般来说，ES 的 master 节点负载很轻，集群性能是可以近似认为随着 data 节点的扩展线性提升的。 但是，上面这句话并不是完全正确的。 ES 中有一件事情是只有 master 节点能管理的，这就是集群状态(cluster
-
我想在由安全kafka集群的kafka主题支持的Flink SQL表上执行一个查询。我能够以编程方式执行查询，但无法通过Flink SQL客户端执行。我不知道如何通过Flink SQL客户端传递JAAS配置（）和其他系统属性。 FlinkSQL以编程方式查询 这很好。 通过SQL客户端Flink SQL查询 运行此命令将导致以下错误。 中没有任何内容，除了以下注释 SQL客户端运行命令 Flink
-
TiDB 是高可用数据库，可以在部分数据库节点下线的情况下正常运行，因此，我们可以安全地对底层 Kubernetes 节点进行停机维护。在具体操作时，针对 PD、TiKV 和 TiDB 实例的不同特性，我们需要采取不同的操作策略。 本文档将详细介绍如何对 Kubernetes 节点进行临时或长期的维护操作。 环境准备： kubectl tkctl jq 注意： 长期维护节点前，需要保证 Kuber