加缪迁移-Kafka HDFS Connect不从设置的偏移量开始

Question

我目前正在使用ConFluent HDFS Sink连接器（v4.0.0）来替换Camus。我们正在处理敏感数据，因此我们需要在切换到连接器期间保持偏移的一致性。

移交计划：

1. 我们创建了hdfs接收器连接器，并订阅了一个主题，该主题将写入临时hdfs文件。这将创建一个名为connect-
的用户组
2. 已使用DELETE请求停止连接器
3. 使用/usr/bin/kafka使用者组脚本，我可以将连接器使用者组kafka主题分区的当前偏移量设置为所需的值（即Camus写入的上一个偏移量1）
4. 当我重新启动hdfs接收器连接器时，它会继续读取上次提交的连接器偏移量，并忽略设置值。我希望hdfs文件名如下：hdfs_kafka_topic_name kafkapartition Camus_offset Camus_off set_plus_flush_size.format

我对汇合连接器行为的预期正确吗？

Answer 1

当您重新启动这个连接器时，它将使用嵌入在最后一个写入hdfs的文件中的偏移量。它不会使用消费者组偏移量。之所以这样做，是因为它使用预写日志来实现向hdfs的一次性交付。