《flink》专题

Flink中关于事件时间处理的水印是什么？为什么需要它。？为什么在所有使用事件时间的情况下都需要它。在所有情况下，我的意思是，如果我不做窗户操作，那么为什么我们还需要一个水位线。我来自spark的背景。在spark中，只有在对传入事件使用windows时才需要水印。 我读过一些文章，在我看来，水印和窗口似乎是一样的。如果有差异，请解释并指出来 把你的回复贴出来，我读了一些。下面是一个更具体的查询<

Flink在这里提供了一个示例：https://www.ververica.com/blog/stream-processing-introduction-event-time-apache-flink这描述了这样一个场景：有人在玩游戏，由于subway而失去连接，然后当他重新联机时，所有数据都恢复了，可以进行排序和处理。 我的理解是，如果有更多的球员，有两种选择： > 所有其他的将被延迟，等待该

我很难理解水印和允许迟到的概念。 以下是[邮件存档]的摘录|https://www.mail-archive.com/user@Flink。阿帕奇。组织/msg08758。html]这谈到了水印，但我还有几个问题。以下是引用的示例： 假设您有一个，具有2分钟的绑定和10分钟的翻转窗口，从12:00开始到12:10结束： 如果您具有以下流序列： 不允许迟到 当窗口操作符接收到<代码> 允许迟到3分钟

我是Apache Flink的新手，我正在尝试使用Flink CEP动态评估流中的模式。我正在尝试查找执行以下操作的用户登录、addtocart和注销，并且能够检测到模式，但是如果我定义了多个模式，例如登录，注销，则无法检测到模式 下面是我的代码 动作类 模式类 主类 如果我给出一个模式来评估它的输出，如下所示 如果我试图给多个模式进行评估，如下面所示，它不是评估第二个模式，而是建议我如何评估多个

从Flink 1.5发布公告中，我们知道Flink现在支持“广播状态”，并描述为“广播状态解除了Flink的CEP库的“动态模式”功能的实现。”。 这是否意味着目前我们可以在没有Flink CEP的情况下使用“广播状态”来实现“动态模式”？我也不知道在有或没有广播状态的情况下为Flink CEP实现“动态模式”有什么区别？我将不胜感激如果有人能举一个带有代码的例子来解释区别。 ==========

我正在实现一个用例，其中不同的物理设备正在发送事件，并且由于网络/电源问题，在flink source接收事件时可能会有延迟。flink作业中的一个操作符是模式操作符，并且有一些特定的模式是时间敏感的，所以我使用事件时间特性。但是，当来自特定设备的事件出现不可预测的延迟时，问题就会出现，这会导致这些事件被丢弃（因为我无法真正定义允许延迟的静态绑定）。 由于我使用的是基于源设备ID的KeyedStr

问题#1：我正在研究一个案例场景，在这个场景中，我们需要融合来自多个传感器（例如8个传感器）的数据，并以树的形式将它们连接起来。例如，将[s1、s2、s3和s4]连接起来形成流A，然后将[s5、s6、s7和s8]连接起来形成流B，然后对流A和B执行CEP。如何实现这一点？ 问题#2：是否可以对多个流执行CEP，即多个流？。flink 1.3.2 API中明确提到，模式将应用于一个流 如果模式不能应

我正在尝试过滤所有临时事件 输入是一个文本文件，由输入函数解析为流，输入文件的内容包括：- 第一个值是Rack_id第二个是温度 我在input stream和WarnigsStream上都发布了print（），如下所示 现在，问题来了，Flink CEP的输出如下所示 正如我们所看到的，第一个复杂事件（机架id=1和温度=98.0））以相同的顺序打印，但在此之后，所有其他复杂事件都具有温度 提前

我正试图用Apache Flink构建一个CEP系统来关联事件。其中一个要求是能够在运行时为异常检测添加新模式，而不会丢失系统可用性。你知道我该怎么做吗？ 例如，如果我有一个安全事件流（例如访问、身份验证）和一个用于检测异常的模式（例如， 问候。

我们计划使用Flink CEP根据一些动态模板处理大量事件。系统必须识别事件链（有时是带有条件和分组的复杂链）。模板将由用户创建。换句话说，我们必须在不接触代码的情况下创建复杂的模板。是否可以使用Apache Flink解决此问题？Filnk是否支持动态模板？

问题陈述：来自kafka源的流式事件。这些事件有效载荷为字符串格式。将它们解析为文档，并根据事件时间每隔5秒将其批量插入DB。 函数正在执行。但程序控制不会进入。因此不会发生批量插入。我尝试了键控和非键控窗口。它们都不工作。没有抛出错误。 flink版本：1.15.0 下面是我的主要方法的代码。我应该如何解决这个问题？

在一个flink项目中，我使用一个case类click。 这个类填充了数据集，并且在日期为Java8的情况下可以很好地工作。在Java7环境中切换到org.joda(Version2.9)之后，对数据集中的click对象的调用不像以前那样执行。对click对象的date字段的某些函数的访问引发。这些函数的例子有等。我能够确保click类的日期字段不为空。我怀疑joda时间库与kryo序列化的交互不

背景：我正在尝试使用从CSV文件读取的两个“大（r）”数据集/表（左表中16K行，右表中少一些）进行事件时临时联接。这两个表都是仅附加的表，即它们的数据源当前是CSV文件，但将成为Debezium在Pulsar上发出的CDC变更日志。我使用的是相当新的语法SYSTEM\u TIME。 问题：连接结果只有部分正确，即在执行查询的开始（前20%左右），左侧的行与右侧的行不匹配，而理论上应该匹配。几秒钟

我需要使用来自同一来源的不同列聚合构建管道，例如，一个按userId，另一个按productId，等等。我还希望有不同的颗粒度聚合，例如按小时、每天。每个聚合将有不同的接收器，例如不同的nosql表。 使用表API构建SQL查询似乎很简单。但我想减少管理太多Flink应用程序的操作开销。所以我想把所有不同的SQL查询放在一个pyflink应用程序中。 这是我第一次创建Flink应用程序。所以我不确

--通过将状态后端从文件系统更改为rocksdb解决了问题-- 在AWS EMR上运行Flink 1.9。Flink应用程序使用动觉流作为输入数据，另一个动觉流作为输出。最近，检查点大小已增长到1GB（由于数据量增加）。有时，在尝试执行检查点的过程中，应用程序开始利用整个处理器资源（一天发生几次） 指标： LA（具有作业/任务管理器的emr ec2核心节点） 运行循环时间-运动消费者 每次提取的记