Flink关闭挂钩以最大限度地减少数据丢失/重复

Question

我有一个flink作业，从kafka读取数据，从redis读取一些数据，然后将聚合的窗口数据写入redis接收器（redis写入操作实际上是调用加载到redis中的lua脚本，该脚本会增加现有值，因此我只能在此处增加而不能更新）。

问题是，当我停止作业（维护、代码更改等）时，即使使用保存点，我也会向redis写入重复数据，或者在恢复时丢失一些数据，因为据我所知，redis sink在语义方面没有任何保证（准确/至少/最多一次）。

问题是，是否存在某种关闭信号，允许我彻底关闭作业，以保证语义只出现一次？

换句话说，我想要的是：

1. 接收停机信号（来自取消作业？）

这可能吗？欢迎任何关于如何处理停机（计划/计划外）的其他想法。

Answer 1

自版本1.2以来，Flink有一个cancel with savepoint操作，可从CLI和rest API中使用。查看文档和拉取请求。