从特定偏移量到结束偏移量的流处理

Question

可以从输入主题的特定偏移量到结束偏移量进行Kafka流处理吗？

我有一个Kafka流应用程序消耗输入主题，但由于某种原因失败了。我修复了问题并再次启动它，但它从输入主题的最新偏移量开始消耗。我知道应用程序已处理的输入主题的偏移量。现在，我如何将输入主题从一个偏移量处理到另一个偏移量。我正在使用合流平台5.1.2。

Answer 1

默认情况下，KStreams支持auto.offset.reset的两个可能值。它可以是“最早”或“最新”。您不能将其设置为应用程序代码中的特定偏移量。

在应用程序重置期间有一个选项。如果您使用应用程序重置脚本，您可以使用--to-偏移属性并将其分配给特定的偏移量。它会将应用程序重置到该点。

<path-to-confluent>/bin/kafka-streams-application-reset --application-id app1 --input-topics a,b --to-offset 1000

您可以在留档中找到详细信息：
https://docs.confluent.io/5.1.2/streams/developer-guide/app-reset-tool.html

在这种情况下，如果您正在修复错误，最好尽可能重置为最早的状态。