Flink Streaming：如何使用过去30天的所有事件处理每个事件？

Question

在键控流上，我希望在新事件到达时，立即为每个新传入事件计算一次窗口函数，同时以迭代器的形式为它提供过去30天内该键的所有早期事件的上下文。

预期的行为类似于滑动窗口，长度为30天，滑动时间为1纳秒，每个传入事件只计算一次窗口函数。

我看不到如何在内置的翻滚/滑动/会话窗口（带/不带触发器/驱逐器等）上映射此行为。

有人能帮忙吗？或者这需要编写自己的窗口赋值器或自己的键控状态处理吗？

Answer 1

您是对的，使用Flink提供的窗口原语对用例建模并不容易。

我能想到的最佳解决方案是实现自定义运算符（OneInputStreamOperator）。这是一个相当低级的接口，可以访问记录时间戳、水印和状态（Flink的许多内置操作符都基于该接口）。当收到新记录时，操作员将其放入按时间戳排序的优先级队列中，删除30天之前的所有元素，并对队列中的其余元素评估功能。

注意，队列应注册为托管状态，以使操作员具有容错能力。如果要使用事件时间，则只能在收到水印时计算和删除数据。

在实现OneInputStreamOperator接口时，查看Flink的内置操作符可能会有所帮助，例如StreamFilter或更复杂的操作符之一。

自定义运算符可以应用于DataStream或KeyedStream（通过DataStream.keyBy（））使用转换（）方法获得。