将保存点添加到数据流

Question

我已经添加了保存点到kafka源，它恢复kafka流，但相反，我想恢复我处理过的数据流

 DataStream<String> streamOfStrings = env.addSource(new FlinkKafkaConsumer010<>(topicname));

我的字符串流被进一步传递给另一个进程，该进程被转换为对象的数据流。我希望处理流的状态应该只被保持，而不是kafka流。有没有办法将保存点附加到数据流

 DataStream<Object> streamOfObject = App.convertToObject(streamOfStrings);

Answer 1

一些澄清...

1. 即使保持下游状态,Kafka源也必须保持某种状态,以了解它消耗了多少主题；从检查点或保存点重新启动时，它必须重播使其进入保存状态的上一个数据的时间内的所有数据，以及当前可用的数据。
2. 保存的任何状态都需要有一定的持续时间（通常是时间限制），这样它就不会无限制地累积，对吗？

我能想到的最简单的方法是将app.ConvertToObject()方法转换为实现[ListCheckpoint][1]接口的适当函数。您可以将每个转换后的对象保存到一个列表中，但要达到一定的限制（请参见同一页上的BufferingSink示例）。