当我使用 flink 事件时间窗口时,窗口只是不触发。如何解决问题,有没有办法调试?
如何在Flink SQL查询中使用SQL客户端进行窗口连接。窗口设置方式与下面链接中提到的方式相同https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/operators/joining.html 需要窗口的示例查询:选择sourceKafka.*从sourceKafka内部连接SourceKafca上的bad
我正在开发一个应用程序,希望在实时事件和过去事件上运行Flink SQL。我尝试了一个POC,其中Flink在Kafka等流源上运行SQL,SQL查询只返回新的事件/更改。但是,我想对所有数据运行SQL,有些数据可能会随着时间的推移而改变。基本上我的要求就是连续查询整个数据。如何通过Flink或其他流媒体解决方案实现这一点?
我的典型用例是继续监控事件流以检测事件模式,但我希望窗口是跳转窗口。默认情况下,CEPSQL中的应该定义一个翻转窗口。是否可以为CEP模式匹配设置跳转窗口?或任何其他解决方案? 谢啦
我有两条流: 测量 WhoMeasured(关于谁进行了测量的元数据) 这些是它们的案例类: 流包含大量数据。流几乎没有任何可用性。事实上,对于<code>who_measured_id</code>流中的每个<code>who_。这本质上是一个哈希表,由流填充。 在我的自定义窗口函数中 这是我的工作。现在你可能会看到,有一些东西不见了:两个流的结合。 因此,从本质上讲,这是一种查找表,当流中的新
这是我的代码。我的问题如下 > 以这种方式清除状态是否正确? 这是使用keyBy的正确方法吗? //有100万个storeId
我想使用早期触发逻辑进行窗口聚合(您可以认为聚合是由窗口关闭或特定事件触发的),我阅读了文档:https://ci . Apache . org/projects/flink/flink-docs-release-1.12/dev/stream/operators/windows . html # incremental-window-aggregate-with-aggregate functi
我正在尝试按照此处的步骤创建一个基本的 Flink 聚合 UDF。我已经添加了依赖项()并实现了 我已经实现了强制方法和其他一些方法:< code>accumulate,merge等。所有这些构建都没有错误。根据文件,我应该可以注册为 但是,似乎只需要作为输入。我收到一个不兼容的类型错误: 任何帮助都会很好。
我的目标是为Flink 1.10中的流处理模块提供一个接口。管道包含一个AggregateFunction和其他操作符。所有运算符都有泛型类型,但问题在于AggregateFunction,它无法确定输出类型。 注意:实际的管道有一个滑动EventTimeWindow分配器和一个与AglogFunction一起传递的Window函数,但是使用下面的代码可以更容易地重现错误。 这是一个重现错误的简单
我正在为一个项目试验Apache Flink。我正在使用 Flink 来聚合一系列传感器捕获的环境数据。为了计算空气质量指数,我正在尝试实现一个自定义聚合函数,以便在带有窗口的分组选择中使用,但我对类型提示有问题。下面是带有 DataTypeHint 注释的函数代码: 但我有以下例外: 我做错了什么?
使用flink sql有没有办法将列表解析为多行并在列表中添加索引? 以下是输入示例: 以下是预期结果: 谢啦
我在Kinesis数据分析中使用Apache flink。 Flink版本:1.13.2 Jave:1.11 我正在使用来自Kafka的json消息。输入记录示例如下所示 我想使用车辆类型(CAR OR TRUCK)和车辆模型类型(丰田、本田或福特)将这些记录汇总到20秒窗口中。SQL类比(sum(),按车辆类型分组,车辆模型类型) 我使用聚合函数来实现这一点。 在上面的代码中,我也没有看到合并代
Apache JIRA中存在一个问题:https://issues.apache.org/jira/browse/FLINK-3703.它允许定义在找到匹配序列后匹配算法应继续的位置,并且有三种类型的行为: -继续保留所有事件以备将来匹配(即当前行为) -在第一个元素之后继续(删除第一个匹配事件并继续第二个事件) 之后-在最后一个元素之后继续(有效地丢弃匹配序列的所有元素) 例如,如果我们有一系列
目前,当我打印CEP模式的结果时,我有一个非常奇怪的行为。 数据模型如下: < li >事件:(类型:字符串,时间戳:长整型) < li >车辆相关扩展事件:(vehicleId:Integer) < li >位置延伸车辆相关:(位置:整数,方向:整数) < li >识别扩展车辆相关:(位置:整数,id:整数,方向:整数) CEP部分如下所示: 日志的输出如下: 现在最大的问题是,为什么在我返回强
我是Apache Flink CEP的新手,我正在努力检测一个简单的事件缺失。 我试图检测的是,具有特定ID的CurrencyEvent类型的事件在一定时间内不会发生。我想每次在3000ms之后事件没有发生时检测没有这样的事件。 我的模式代码如下所示: 所以现在我的想法是使用超时函数来检测超时事件: 我的测试源使用事件时间戳和水印,如下所示: 我在用TimeCharacteristics.Even