Flink富集具有流转时长的传入数据
为了调试我们的应用程序，我们将所有传入数据（s3接收器）保存在图形的单独部分（甚至在时间戳/水印处理之前）。我们的数据已经包含了时间戳（event timestamp），在保存数据之前，我们想再添加一个字段，其中在消息实际进入flink时会有一个时间戳（处理时间）。
如何最好地做到这一点？也许flink为此提供了一个特殊的API，现在我们正在做非常简单的new Date（）. getTime
共有1个答案
顺便说一句，这有时被称为摄入时间。你自己来实现这一点；Flink没有任何内置功能。你现在做的似乎很好。
-
我正在编写一个Flink流程序，其中我需要使用一些静态数据集（信息库，IB)来丰富用户事件的数据流。 对于例如。假设我们有一个买家的静态数据集，并且我们有一个事件的clickstream，对于每个事件，我们要添加一个布尔标志，指示事件的实施者是否是买家。 另一个选择可以是使用托管操作员状态来存储购买者设置，但是我如何保持按用户id分配的该状态，以避免在单个事件查找中使用网络I/O呢？在内存状态后端
-
我正在用Flink做一个实时项目，我需要用以前的交易丰富每一张卡的状态，以计算如下的交易特性： 对于每一张卡，我都有一个功能，可以统计过去24小时内的交易次数。另一方面，我有两个数据源： 在Flink流中使用静态数据集丰富数据流 任何帮助都是非常感激的。
-
我正在使用Flink表API，使用Java将数据集转换为数据流....以下是我的代码： ExpressionException：JavaStreamingTranslator的根无效：Root(ArraySeq((related_value,Double）,(ref_id,String)))。您尝试将基于数据集的表转换为数据流吗？我想知道我们如何使用Flink表API将DataSet转换为Data
-
主要内容：1.分流,2.Union聚合,3.Connect 连接,4.Join 合流,5.总结分流和合流 分流的方式: 侧输出流 合流的方式: Union, Connect, Join, CoGroup 1.分流 所谓“分流”，就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream，得到完全平等的多个子 DataStream，如图 8-1 所示。一般来说，我们会定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。 1.1 简单实现 其实根据条件筛选数据的
-
我正在使用NIFI1.11.4构建一个数据管道，其中IoT设备以JSON格式发送数据。每次从IoT设备接收数据时，都会收到两个JSONS； JSON_Initial 和JSON_FINAL
-
我有2个数据流，我将其连接并输入到一个CoFlatMap函数中。我需要能够在两个不同的数据流上测试生成消息，但在消息到达时进行协调。在Flink如何做到这一点？