Kafka consumer在处理某些消息时失败

Question

我有一个spring boot应用程序与单个Kafka消费者从一些主题获取消息。但有时在处理消息时会出现错误。

我理解我需要禁用自动提交并手动提交成功的消息，但是，在这种情况下，如果我没有为这个异常情况抛出任何异常，并手动提交每个下一个成功的消息，那么我将丢失前一个不成功的消息，对吗？

Answer 1

如果我正确理解您的问题，您的假设是，异常发生是由于您的代码中的一个问题，而不是在阅读主题中的消息时。在这种情况下，没有重试或其他措施将解决您的问题。

我们通常所做的是捕捉到异常，并将其发送到另一个Kafka主题。理想情况下，您还将添加一些详细信息，说明异常发生的原因或发生在哪个代码部分。修复了应用程序中的bug之后，您就可以使用来自其他主题的消息了。

我理解我需要禁用自动提交并手动提交成功的消息，但是，在这种情况下，如果我没有为这个异常情况抛出任何异常，并手动提交每个下一个成功的消息，那么我将丢失前一个不成功的html" target="_blank">消息，对吗？

如果您只希望在极少数情况下可以抛出异常，但您却忽略了它，那么您可以始终使用纯Kafka格式的consumer.seek()方法

public void seek(TopicPartition partition, long offset)

从主题分区的特定偏移量开始读取。