关于StateTtlConfig

Question

我正在为MapState配置我的StateTtlConfig,我感兴趣的是进入状态的对象有3个小时的生命周期,然后它们应该从状态中消失,并传递给GC进行清理,释放一些内存,检查点也应该释放一些权重。我以前有过这样的配置，但它似乎不起作用，因为总是成长的关卡：

private final StateTtlConfig ttlConfig = StateTtlConfig.newBuilder(org.apache.flink.api.common.time.Time.hours(3)).cleanupFullSnapshot().build();

然后，我意识到该配置仅在从保存点读取状态时有效，但在我的场景中不起作用。我会将TTL配置更改为：

private final StateTtlConfig ttlConfig = StateTtlConfig.newBuilder(org.apache.flink.api.common.time.Time.hours(3))
            .setStateVisibility(StateTtlConfig.StateVisibility.NeverReturnExpired).build();

基于这样的想法：我希望在定义的时间之后清除所有键的所有状态。

null

再多谢一次。亲切的问候！！！

Answer 1

我对您的用例了解不够，无法推荐特定的过期/清理策略，但我可以提供一些注释。

我的理解是，CleanupFullSnapshot()指定除了正在进行的任何其他清理之外，每当拍摄快照时都将进行完全清理。

FsStateBackend使用增量清理策略。默认情况下，它在每次状态访问期间检查5个条目，并且在记录处理期间不进行额外的清理。如果您的工作负载是这样的，写的比读的多得多，这可能是不够的。如果不访问该状态，则过期状态将持续存在。选择cleanupincrementary(10，false)将使清理更加积极，假设您确实正在进行某种级别的状态访问。