在从融合复制器迁移到 Apache 镜像制作器 2.0 时保持相同的偏移量
我们目前正试图将融合复制器迁移到Apache开源镜像制作者v2.0。我们面临的问题是，当镜像制作器在同一主题上启动时，复制器已经复制的消息再次被复制。当消息在目标群集上重复时，不应发生这种情况。以下是更多详细信息：
- RCA：复制器分配一个用于复制消息的消费者组。该消费者组维护源主题的偏移量。但是我们无法将相同的消费者组分配给镜像制造商2中的消费者配置。
- Mirror Maker 1.0：可以在consumer.properties文件中分配相同的消费者组，并在复制器停止后立即选择消息。
- 尝试在镜像制造商2.0中以所有可用选项运行和配置
source.cluster.consumer.group.id（在集群模式、连接独立和连接分布式模式下），但镜像制造商2.0在复制消息时将消费者组ID分配为null。
任何指针，如果有人做了同样的事情，并试图保持与镜像制造商2.0相同的偏移量。
共有1个答案
我们有一个粗略的方法来解决这个问题。以下是高级步骤：
- 阅读Replicator用于存储偏移的内部主题中的消息。[连接偏移]
- 此主题存储在key： value对中复制的所有主题的偏移量。例如
键 ： [“复制器组”，{“主题”：“TEST”，“partition”：0}]
值： {“偏移量”：24}
- 对于每个主题和分区，每当复制新消息时，都会向连接偏移量主题生成一条具有相同键但偏移量增加的新消息
- 将此消息的密钥转换为Mirror Maker 2格式，并在MirrorMaker2的内部主题中生成。[您可以在MirrorMaker2-connect-distribute.properties文件中更改内部主题]镜像Maker内部主题的格式为：
键：[“mirrormaker group”，｛“cluster”：“”，“partition”：0，“topic”：“TEST”｝]
值：｛“offset”：24｝
- 发布消息后，一旦镜像生成器重新启动，它将读取内部主题，以获取必须复制消息的主题的最新偏移量，这样我们可以确保不会复制重复的消息
-
我们已经设置了MirrorMaker来跨两个Kafka集群复制消息。我们还在镜像制造商消费者属性中设置了来复制内部主题。我假设这也将复制，这将反过来同步辅助集群中的消费者组偏移量。 但是，当我们在二级集群中启动消费者组时，它从一开始就开始使用消息，因此看起来消费者组偏移量在二级群集中没有得到复制。 有人能提供一些建议吗？我们如何使用MirrorMaker或任何其他解决方案在辅助集群中同步消费者组偏
-
我已经开始与演员一起工作，并遵循入门指南中提到的一个简单的例子。 名称：=“Pracakka” scalaVersion:=“2.9.2” 解析器+=“TypeSafe Repository”（位于“http://repo.typesafe.com/typesafe/releases/”）
-
我的错误 我想知道做这次迁移的人打算做什么。
-
我买了新的MacBook Pro，我在其中安装了mysql，然后安装sequel Pro来查看表和数据库，但是当我命令时，这个错误指控错误图像 近30个小时来，我一直在忍受这个问题，有人能帮我看一下吗
-
从上到下，我有security-role-assignment，它将ldap组中的用户映射为registered_user。我认为标记会话描述符是自我解释的。然后是我的应用程序上下文根上下文-根。然后是一些用于将servlet注册到Weblogic的servlet定义（这也是在web.xml中定义的，我认为这将不需要更多的处理）。 那么在我的应用程序中迁移这个weblogic.xml文件的最佳方法
-
使用validation验证器 仓库地址: validation 安装 composer require illuminate/validation 我们先单例validation验证器 namespace App\Vendor\Validators; use Illuminate\Validation\Factory; class Validator extends Factory {