事件时间窗口与第一项时间戳的Flink混淆
我有一个带有数据和时间戳的记录日志，我的Flink应用程序按时间戳升序接收记录。在某个键的第一个项到达窗口后，我想在X事件时间后关闭窗口，检查是否有足够的项到达某个条件，并为该键发出通过或失败消息。
对于Flink中的基本窗口功能，这是不可能的吗？例如，如果我希望我的窗口有30秒长，但是键的第一个项在15秒到达，最后一个项在40秒到达，似乎窗口将在30秒关闭，并且该键的记录轨迹将是分成两个窗口。在这种情况下，我想要的是窗口在事件时间的15秒开始，在45秒结束。
共有1个答案
根据我的经验，这些用例在KeyedProcessFunction中实现要比在自定义窗口中实现容易得多（内置窗口不能满足您的需求）：
- 在
processElement中，您可以将元素缓冲到托管状态，并在未来的一段时间（30秒）内注册计时器。
-
null 此窗口具有一个允许延迟为一分钟的BoundedOutoFordernesTimeStampExtractor。 水印：据我的理解，Flink和Spark结构化流中的水印定义为（max-event-timestamp-seen-so-far-alloged-lateness）。事件时间戳小于或等于此水印的任何事件都将被丢弃并在结果计算中忽略。 在此场景中，几个事件到达Flink运算符时具有
-
查看Flink的留档和书籍，我对时间戳有疑问：如果流设置为事件时间模式，这意味着时间戳在进入Flink之前具有源的时间（甚至在通过消息传递队列之前，可能是Kafka），为什么Flink将时间戳作为元数据附加到记录中？幻灯片3根据它们所占的内容具有不同类型的时间戳：https://www.slideshare.net/dataArtisans/apache-flink-training-time-a
-
我想知道是否可以创建类似于以下内容的WindowAssigner： 但我不希望窗口在每个元素的事件时间中保持增长。我希望在接收到的第一个元素（对于该键）处定义窗口的开头，并在1秒后精确结束，无论有多少元素到达该秒。 所以它可能看起来像这样的假设： 谢谢
-
输入： 结果：
-
假设我有一个股票市场交易事件流，如下所示： 使得technicalN（其中N是一些数字）代表给定公司的日终股票市场交易数据的第N个技术交易条目[开盘（浮动）、高位（浮动）、低位（浮动）、收盘（浮动）、成交量（int）]。（即ticker GOOG的技术1不同于ticker MSFT的技术1。）如： （请注意，这些交易价格/交易量完全是虚构的。 假设我想创建一个大小为2、时间间隔为1天的窗口，这样我
-
我刚刚遇到了一个非常奇怪的问题，当使用带有时间戳和水印赋值器的EventTime时，我无法从流窗口联接中获得任何结果。 我使用Kafka作为我的数据流源，并尝试了AscendingTimestampExtractor和自定义赋值器，它们实现了Flink留档中提到的Assignerwith周期水印，正如我测试的那样，没有发出水印，也没有生成连接结果。如果我更改为使用ProcessingTime和Tu