我正在创建2个flink sql表,1个用于CSV文件系统 FlinkSQL创建目标表 如何定义始终处于“运行”状态并查找新文件的流媒体作业。请建议。
我的工作流程工作原理如下: src[Kafka]- 但我的工作是运行精细的数据完美地流向Kafka和MySQL,但它在检查点失败,附加图像相同。 Ps :目前我已经禁用了检查点,但是当我使用相同的属性启用时,它会失败
我正在使用以下代码进行一些查询: 注意:对于sql1,我使用带有rowtime的max函数,它不起作用,并引发以下异常: 线程"main"org.apache.flink.runtime.client.JobExecutionException:java.lang.RuntimeException中的异常:Rowtime时间戳为空。请确保定义了正确的TimestampAssigner并且流环境使用
我有一个这样的SQL问题 根据用户输入,我想将botcode='r1'更改为给定输入。在不重新启动作业的情况下说出botcode='r10'。有没有办法做到这一点。我在flink 1.7上使用stream env。我尝试配置流来读取输入。但仍停留在如何动态更改查询上。有人能帮我吗?提前谢谢
我需要计算15分钟内A发生的次数和B发生的次数。该流可能是A1,A2,B1,B2,A3,B3,B4,B5,A4,A5,A6,A7,B6 .在我的例子中,事件结果是A2,B1 A3,B3 A7,B6 .我需要接收匹配发生时的实时结果。我有点累了。我认为只有使用flink cep才能做到这一点.但是flink-sql-cep不支持聚合。它只计算发生的事件。在这种情况下,如何用一条SQL完成这项任务。
我使用 Flink SQL 和 CEP 来识别一些非常简单的模式。但是,我发现了一件奇怪的事情(可能是一个错误)。我有两个示例表和,如下所示。 转移 password_change 以下是我的SQL查询。 首先创建一个临时视图事件作为 rowtime列是直接从原始eventtime列中提取的事件时间,水印周期范围为1秒。 然后输出查询结果 它应该输出 但在运行Flink 1.11.1时,我什么也没
亲爱的, 我在Flink客户端查询hive表,返回的结果都是NULL。这个蜂巢桌是兽人桌。我不知道为什么 Flink SQL Flink SQL
我使用Flink SQL计算基于事件时间的窗口分析。在我的数据源每天晚上空闲之前,一切都正常工作,之后直到第二天数据再次开始流动时才产生最后一分钟的结果。 我已尝试将<code>设置为table.exec.source。空闲超时,但没有帮助。我能做什么?
我正在检查Flink Sql Table与kafka连接器是否可以在EXACTLY_ONCE模式下执行,我的方法是创建一个表,设置合理的检查点间隔,并在event_time字段上使用简单的翻滚函数,最后重新启动我的程序。 以下是我的详细进度: 1:创建一个Kafka表 2:启动我的 Flink 作业,如下所示配置 3:执行我的sql 如我们所见,翻转窗口间隔为5分钟,检查点间隔为30秒,每个翻转窗
我正在构建一个具有以下目标的 Flink 应用程序: 将事件收集到键控的非活动触发会话窗口中 尽早发出输入事件的副本,并通过会话引用进行增强 打开和关闭会话时发出会话更新以及收集的会话统计信息(在会话关闭时) 通过滚动窗口,我已经能够实现上述目标,但在会话窗口中我没有成功。 我的窗口处理代码如下 来生成我正在使用的输入 和 当我使用会话窗口执行时,会出现以下异常: 希望我错过了一个技巧,因为无法使
我在使用Flink的SQL语法连接多个表时遇到了一些问题,其中至少有一个表具有时间属性列。 我有一个表 ,当 rowtime 用作 flink rowtime 时,它使用架构(id、value1、rowtime)。 我想将此表与使用模式(id, value 2)的表连接。连接必须在匹配时完成。 最后,我想通过使用滚动时间窗口对这个连接的结果进行分组。 仅仅使用SQL语法有可能做到这一点吗? 下面是
我有一个用例,其中我收到包含不同信息集的事件流,并希望对它们执行聚合。对于这些聚合中的每一个,都需要多个翻滚窗口,例如:每日,每周,每月,每年等。 聚合最初是所看到的计数的基本加法,但后来可能是对这些事件的一些分析/联接处理。因此,如果一个事件A每天来一次,另一个事件B每周来一次,结果将是这样的: 用例只是围绕翻滚的窗口而不是滑动窗口,我正在研究如何实现这个用例。主要问题是我不想等到窗口结束,而是
Flink中的会话窗口在prod env上没有按预期工作(相同的逻辑在本地env上工作)。这个想法是为特定的用户ID发出“sample_event_two”的计数 尽管集合中存在sample_event_one(通过验证日志消息“已接收sample_event_one”是否存在来确认)并且计数计算正确,但我没有看到任何输出事件被创建。我看到日志消息“未找到 sampleOneEvent 事件,而不
我正试图用Flink SQL在一个跳跃窗口上做一个指数衰减移动平均。我需要访问窗口的一个边框,在下面的HOP_START: 我得到了以下堆栈跟踪: 它确实说它在聚合和之外工作时未实现。这就是为什么我认为这是一个范围问题。 现在,问题是:我可以转换这个表达式并在聚合之外进行最后的处理,如exp(x,y)=exp(x)*exp(y);但我坚持使用TIMESTAMPDIFF(这在我上一期中创造了奇迹)。
我有这样一个流: