Flink消息像Storm一样重试

Question

我正在尝试构建一个Flink作业，该作业将从Kafka源读取数据并进行一系列处理，包括很少的REST调用，然后最终进入另一个Kafka主题。

我试图解决的问题是消息重试。如果REST API中存在瞬时错误怎么办？如何像Storm支持的方式那样，对这些消息进行基于指数退避的重试？

我有两种方法可以考虑

1. 使用TimerService，但如果发生故障，状态将开始不受控制地扩展。
2. 将失败的消息写入不同的Kafka主题并以各种延迟处理它们，但如果Sink本身关闭几分钟，问题可能会出现？

有没有更好、更健壮、更简单的方法来实现这一点？

Answer 1

我将使用Flink的AsyncFunction进行REST调用。如果需要，它将对源施加反压力，而不是使用超过配置的状态量。有关重试，请参阅AsyncFunction重试。