Flink SQL间隔联接未触发

Question

我在两个无界流之间有一个简单的间隔连接。这适用于较小的工作负载，但对于较大的（正式生产环境），它不再有效。通过观察输出，我可以看到FlinkSQL作业仅在扫描整个主题（并因此读入内存？）后才触发/发出记录，但我希望作业在找到ingle匹配后立即触发记录。因为在我的正式生产环境中，作业无法承受将整个表读入内存。

我正在做的间隔连接与这里提供的示例非常相似：https://github.com/ververica/flink-sql-cookbook/blob/main/joins/02_interval_joins/02_interval_joins.md

SELECT
  o.id AS order_id,
  o.order_time,
  s.shipment_time,
  TIMESTAMPDIFF(DAY,o.order_time,s.shipment_time) AS day_diff
FROM orders o
JOIN shipments s ON o.id = s.order_id
WHERE 
    o.order_time BETWEEN s.shipment_time - INTERVAL '3' DAY AND s.shipment_time;

除了我的时间间隔尽可能小（几秒钟）。我在FlinkSQL源表上也有5秒的水印。

我如何指示 Flink 在与联接进行单个“匹配”后立即发出/触发记录？由于目前作业尝试在发出任何记录之前扫描整个表，这对于我的数据量是不可行的。根据我的理解，它应该只需要扫描直到间隔（时间窗口）并检查它，一旦间隔通过，就会发出/触发记录。

另外，通过观察集群，我可以看到水印正在移动，但没有发出任何记录。

Answer 1

可能是有些数据被放弃了，可以查看你的活动时间是否合理。在此场景中，您可以尝试使用常规联接并设置3天的ttl（table.state.ttl = 3天），这可以确保每个联接数据的输出。