如何制作可重启的生产者？

Question

最新版本的kafka支持精确一次语义(EoS)。为了支持这一概念，在每个消息中都添加了额外的详细信息。这意味着在你的消费者；如果打印消息的偏移量，它们不一定是连续的。这使得轮询一个主题以阅读最后提交的消息变得更加困难。

在我的例子中，consumer打印了如下所示的内容

Offset-0 0
Offset-2 1
Offset-4 2

问题：为了编写可重启的proudcer；我对话题进行了投票，并阅读了上一条消息的内容。在这种情况下；最后一条消息将是偏移量#5，这不是有效的消费者记录。因此，我在代码中看到了错误。

我可以使用下面提供的解决方案：获取发送到Kafka主题的最后一条消息。唯一的问题是不使用consumer.seek（分区，last_offset=1)；我将使用consumer.seek（分区，last_offset-2)。这可以立即解决我的问题，但这不是一个理想的解决方案。

对于用Java编写的用户来说，获取最后提交的消息的最可靠和最好的解决方案是什么？或

是否可以对分区使用本地状态存储？或

Answer 1

在我的例子中，多个生产者将数据推送到一个大主题。因此，阅读整个主题将是一场噩梦。

<罢工> 我找到的解决办法是 维护另一个主题，即生产者可以存储元数据的“p1_track”。在 事务一个生产者将把数据发送到一个大主题和p1_track。

<罢工> 当我重新启动一个生产者，它将读取P1_Track并找出从哪里开始。