如何使用 REST API 设置 Kafka Connect auto.offset.reset

Question

我创建了一个接收器Kafka连接，将数据转换为其他存储;我想在使用 kafka 连接 rest API 创建新连接器时将 auto.offset.reset 设置为最新;我已经设置了消费者.auto.offset.reset：最新的配置;

json{"name"："test_v14"，"config"：{"name"："test_v14"，"consumer.auto.offset.reset"："最新"，"connector.class"："…"，…}}

但是当任务开始时，kafka 消费者仍然最早轮询记录;任何其他将 auto.offset.reset 设置为最新版本的方法也是如此;

Answer 1

从Apache Kafka 2.3开始，现在可以将其设置为连接器配置的一部分。

在工作集上：

connector.client.config.override.policy=All

然后在连接器中，您可以指定

"consumer.override.auto.offset.reset": "latest"

有关详细信息，请参阅以下内容：https://rmoff.net/2019/08/09/starting-a-kafka-connect-sink-connector-at-the-end-of-a-topic/

Answer 2

Kafka2.3之前

consumer.auto.offset。重置需要在分布式连接中设置。properties＜/code＞文件（Worker）。

它不能应用于任何特定的连接器，除非该连接器类显式创建并加载其自己的读取该属性的消费者对象。