原始状态与托管状态的示例

Question

原始状态是操作员在自己数据结构中保持的状态。当检查点为检查点时，它们只将一系列字节写入检查点。Flink对状态的数据结构一无所知，只看到原始字节。

然而，我没有找到任何例子来突出这种区别。有谁能提供一个最小的例子，在代码中明确区别吗？

Answer 1

运算符状态只在运算符API中使用，而运算符API只针对高级用户，它不像最终用户API那样稳定，这就是我们很少宣传它的原因。作为一个示例，考虑AbstractUdfStreamOperator，它用一个UDF表示一个运算符。对于检查点，需要保存UDF的状态，并在恢复时恢复。

@Override
public void snapshotState(StateSnapshotContext context) throws Exception {
    super.snapshotState(context);
    StreamingFunctionUtils.snapshotFunctionState(context, getOperatorStateBackend(), userFunction);
}

@Override
public void initializeState(StateInitializationContext context) throws Exception {
    super.initializeState(context);
    StreamingFunctionUtils.restoreFunctionState(context, userFunction);
}

此时，状态可以序列化为一个字节blob。只要操作员能够自行恢复状态，状态就可以采取任意形状。

然而，巧合的是，在过去，许多运算符状态也被（重新）实现为托管状态。所以这条线在现实中更加模糊。