在Flink中进行检查点时，定时器太多花费了太多时间

Question

任何解决这一问题的建议都将不胜感激。或者我们可以用另一种方式来计数？我想补充一些细节。滑动大小是一个事件和窗口大小超过10小时（每秒大约有300个事件），我们需要对每个事件做出反应。所以在这种情况下，我们没有使用Flink提供的窗口。我们使用键控状态来存储前面的信息。定时器在processfunction中用于触发旧数据的清理作业。最后dinstinct键的数量非常多。

Answer 1

我认为这应该行得通：

通过有效地做一些像keyBy（key mod 100000）这样的事情，大幅减少Flink使用的键数，从300M降低到100K（例如）。然后，ProcessFunction可以使用MapState（其中的键是原始键）来存储它需要的任何东西。

MapStates有迭代器，您可以使用这些迭代器定期爬网这些映射中的每一个，以过期的旧项。坚持每个密钥只有一个计时器的原则（如果你愿意的话，每个uberkey)，这样你只有100K个计时器。