闪烁检查点间隔和状态大小

Question

感谢任何能帮助你回答问题的人。

Answer 1

有很多因素可以影响检查点性能，包括您正在运行哪一个版本的Flink，您正在使用哪一个状态后端以及它是如何配置的，以及涉及哪种时间窗口（例如滑动窗口和滚动窗口）。当涉及状态的TB时，增量检查点可能会产生巨大的影响。

一个可能产生很大影响的因素是不同时间间隔所涉及的不同键的数量。您已经指出了这些是键控窗口，我希望在一个小时的过程中，使用的键比一分钟内使用的键要多得多。当第一个事件被分配给窗口时，创建窗口是懒洋洋的，因此为一个小时长的窗口创建的键控窗口要比为一分钟长的窗口创建的键控窗口多得多。同样的效果也会出现在一整天的键控窗口上，但程度较小。

在检查点处理过程中，作业的每个操作符都会经历一个（希望是短暂的）html" target="_blank">同步阶段，而不管大部分检查点是同步还是异步完成的。使用基于堆的状态后端，同步和异步快照都受到支持--您需要异步快照以获得最佳性能。