Flink：使用CSV文件的事件时间聚合

Question

我将Flink 1.11.3与SQL API和Blink planner结合使用。我在流模式下工作，使用带有文件系统连接器和CSV格式的CSV文件。对于一个时间列，我生成水印，并希望根据这个时间进行窗口聚合。就像根据事件时间快进过去一样。

val settings = EnvironmentSettings.newInstance().inStreamingMode().useBlinkPlanner().build()

是否必须为此对时间列进行排序，因为逐行使用时间列，如果不进行排序，可能会发生延迟事件，从而导致行的删除？

我对Ververica的CDC连接器也很感兴趣。也许我能找到一个知道这件事的人。开始时，它对表进行快照，然后将这些行作为更改事件发出。关于事件时间的正确处理是什么？它们的发射顺序是什么？

Answer 1

是的，在流模式下运行时，您可能会遇到延迟事件的风险，在执行事件时间窗口时，SQL API会删除延迟事件。

既然输入是一个文件，为什么不在批处理模式下运行作业，并完全避免这个问题？否则，您的选项包括对输入进行排序（按时间），或确保配置水印以避免延迟事件。

至于CDC连接器产生的事件的顺序，我不知道。