《flink》专题

使用时有点卡住了。如果我把它放在before窗口上，它似乎可以正常工作，但如果放在窗口的“apply”函数之后，它就会失败。 我正在测试两个流，主功能在不断摄取数据和控制流模型在更改模型的要求。 我能够在中正确设置并查看b0/b1，但是始终可以看到b0和b1在初始化时设置为0。 我是不是漏了什么明显的东西？

TL；DR：目前保证Flink中事件时间顺序的最佳解决方案是什么？ 我使用Flink 1.8.0和Kafka 2.2.1。我需要通过事件时间戳保证事件的正确顺序。我每隔1秒生成周期性水印。我使用Flink Kafka消费者与AscendingTimestampExtractor： 然后处理： 我意识到，对于在同一毫秒或几毫秒之后发生的无序事件，Flink不会纠正顺序。我在文档中发现： 水印触发所有

我想从flink读一个Kafka的题目 此代码成功运行： 但是，当我尝试使用from flink： 我得到一个错误：

我有两个流，希望将第二个流连接到窗口内的第一个流，因为我需要对与会话相关的两个流的连接进行一些计算（流的连接控制会话）。 实际上，当从留档读取时，（会话）窗口只允许在单个流上进行计算，而不允许在连接中进行计算。 我曾尝试使用会话窗口和协处理器函数的组合，但结果并不完全符合我的预期。 有没有办法合并Flink中与会话窗口相关的两个流？

我有一个带有数据和时间戳的记录日志，我的Flink应用程序按时间戳升序接收记录。在某个键的第一个项到达窗口后，我想在X事件时间后关闭窗口，检查是否有足够的项到达某个条件，并为该键发出通过或失败消息。 对于Flink中的基本窗口功能，这是不可能的吗？例如，如果我希望我的窗口有30秒长，但是键的第一个项在15秒到达，最后一个项在40秒到达，似乎窗口将在30秒关闭，并且该键的记录轨迹将是分成两个窗口。在

我正在尝试flink的一些网络监控工作。我的目标是计算每个的不同。 我下面的代码工作，但性能真的很糟糕。似乎每个滑动窗口都重新计算所有事件，但这不应该是必要的。 例如，我们有时间秒1-600的事件。Flink可以得到每秒的累加器，所以我们每秒有600个累加器。当第一个滑动窗口过期时，flink只合并1-300的累加器，并销毁第二个1的累加器。此窗口还可以在最后一秒前预合并1-299。当第二个滑动窗

在流处理问题中，我们有3个传感器，每个传感器每8毫秒生成一个时间戳样本（传感器的时间是同步的）。所以我想合并每个时间戳的数据（对于3个传感器，我们应该为每个时间戳输出3个合并的样本数据）。此外，我们有一个160毫秒的时间限制，这样每个数据在生成时间戳后最多应该在160毫秒后输出。所以我决定使用Flink事件时间概念和时间窗口。因为时间戳在每个传感器的样本中都是唯一的，所以我们认为它是数据流的关键。

我们正在接收来自多个独立数据源的事件，因此，到达我们Flink拓扑（通过Kafka）的数据将是无序的。 我们正在Flink拓扑中创建1分钟的事件时间窗口，并在源操作符处生成事件时间水印（当前事件时间-某些阈值（30秒））。 如果一些事件在设置的阈值之后到达，那么这些事件将被忽略（在我们的例子中这是可以的，因为属于该分钟的大多数事件都已经到达并在相应的窗口中得到处理）。 现在的问题是，如果程序崩溃（

我的目标是杀死Flink任务管理器，然后在Windows上重新启动它。这是刺激Flink中的错误所必需的，这样我就可以看到检查点的工作。我已经设法找到了任务管理器PID通过查找PID对它侦听的端口。所以杀死PID应该杀死taskManager，但是我找不到在windows上重启Flink taskManager的方法，因为taskManager脚本是一个外壳脚本。请帮助我在以下两个问题。 如何在W

我有一个用例，我想我需要一些关于如何处理它的帮助。因为我是流媒体和Flink的新手，所以我会尽量描述我想要实现的目标。对不起，如果我没有使用正式和正确的语言。 我的代码将用java编写，但我不想用python编写代码，也不想用伪代码或方法编写代码。 TL： DR 在某个时间限制内对同一密钥的事件进行分组 背景： 我有来自传感器的数据，就像Kafka的数据流一样。 我需要使用eventTime，因为

我做了一个Flink的会话窗口来跟踪访问者在我的网站上的网址。从不活动开始5分钟后结束（会话间隙） Flink是否支持一些API来读取活动窗口中的数据，而无需逐个会话完成？

我正在编写一个Flink应用程序，它使用kafka主题中的时间序列数据。时间序列数据包含度量名称、标记键值对、时间戳和值等组件。我已经创建了一个滚动窗口来根据度量键（度量名称、键值对和时间戳的组合）聚合数据。这里是主流看起来像 我还想检查是否有任何指标在上面的窗口外迟到。我想检查有多少指标延迟到达，并计算延迟指标与原始指标相比的百分比。我正在考虑使用flink的“允许延迟”功能将延迟指标发送到不同

到目前为止，我了解到有3种方法可以处理Flink中的后期数据： > 删除延迟事件（这是事件时间窗口运算符的默认行为。（因此，延迟到达的元素不会创建新窗口。）（ 重定向延迟事件（也可以使用side输出功能将延迟事件重定向到另一个数据流） 通过包含延迟事件更新结果（重新计算不完整的结果并发出更新） 我不太清楚非窗口操作符的延迟事件会发生什么，特别是当时间戳被分配到源时。这里我有一个FlinkKafka

我有一些问题。 基于类中的时间戳，我想做一个逻辑，排除在1分钟内输入N次或更多次的数据。 UserData类有一个时间戳变量。 起初我试着用一个翻滚的窗户。 但是，滚动窗口的时间计算是基于固定时间的，因此无论UserData类的时间戳如何，它都不适合。 如何处理流上窗口UserData类的时间戳基？ 谢谢。 附加信息 我使用这样的代码。 我试了一些测试。150个样本数据。每个数据的时间戳增加1秒。

我有一个聚合函数，它计算WindowedStream中一系列事件的平均值。 这里的警告是，平均值需要在可能无序（或根本没有）到达的事件对上计算。 换句话说，我需要在计算之前对数据进行排序，因为序列很重要。 我可以用getResult API来实现这一点，但是这个函数在窗口中的每个事件上都被调用，这在性能方面没有意义。我也可以用flink cep来做这件事，但出于同样的原因，我想避免使用它。 理想情