将Kafka Topic迁移到新集群（以及对德鲁伊特的影响）

Question

我正在从Kafka的话题中摄取数据到德鲁伊。现在，我想将我的Kafka Topic迁移到新的KafkaCluster。在不重复数据和不停机的情况下，有哪些可能的方法可以做到这一点
我考虑了以下将Topic迁移到新Kafka集群的可能方法。

• 手动迁移：
  • 在新的Kafka集群中创建具有相同配置的主题。
  • 停止在Kafka集群中推送数据。
  • 开始在新集群中推送数据。
  • 停止从旧集群消耗。
  • 从新集群开始消费。
  • 在新的Kafka集群中创建具有相同配置的主题。
  • 开始在两个Kafka集群中生成消息。
  • 更改德鲁伊特中的Kafka主题配置。
  • 重置德鲁伊特的Kafka主题偏移。
  • 从新集群开始消费。
  • 迁移成功后，在旧的Kafka集群中停止生产。
  • MM2 在新集群中创建了Kafka的主题。
  • 开始复制两个群集中的数据。
  • 将生产者和使用者迁移到新的 Kafka 群集。
  • 这种方法的问题：
    1. 德鲁伊管理Kafka主题在其元数据中的偏移量。
    2. MM2 将在新集群中创建两个同名（带前缀）的主题。
    3. 德鲁伊是否支持使用正则html" target="_blank">表达式的主题名称？

  注意：德鲁伊特在其元数据中管理Kafka主题偏移。
  德鲁伊特版本：0.22.1
  旧Kafka集群版本：2.0

Answer 1

选项 1 和 2 将有停机时间，您将丢失现有主题中的所有数据。

选项2不能保证你不会丢失数据或产生重复，因为你试图发送消息到多个集群在一起。

如果不至少尝试MM2，就无法将德鲁伊/Kafka偏移数据迁移到新集群。你说你可以在选项2中重置偏移量，那么为什么不对选项3做同样的事情呢？我没有使用过德鲁伊，但它应该能够支持从多个主题消费，无论是否有模式。使用选项 3，在对迁移过程满意之前，无需修改任何创建者代码。

Answer 2

也许对你的第一条稍加修改:

1. 开始发布到新群集
2. 等待当前主管了解旧主题中的所有数据
3. 暂停主管职务。这将强制所有任务编写和发布段。等待此主管完成所有任务。这就是“停机”的开始。当我们切换到新集群时，所有当前接收的数据仍然可以查询。新数据正在新集群中积累，但没有被Druid吸收
4. 当前数据源的所有偏移信息都存储在元数据存储中。使用删除这些记录

从druid_dataSource中删除，其中dataSource={name}

终止当前主管。

提交包含新主题和新服务器信息的新规范。