如何在flink中通过同一插槽上的某些键聚合日期，以便保存网络呼叫

Question

我的flink作业到现在为止对客户端id执行KeyBy操作，并使用窗口操作符累积1分钟的数据，然后聚合数据。聚合之后，我们将这些累积的数据存储在hdfs文件中。唯一密钥（客户端id）的数量每天超过7000万。

问题是，当我们做keyBy时，它会在集群上分发数据（我的假设），但我希望数据在同一个插槽（或节点）上聚集1分钟，用于传入事件。

注意：在接收器中，我们可以在1分钟窗口内为同一客户端提供多个数据。我要保存网络电话。

Answer 1

您是对的，当数据被分区/分布时，执行stream.keyby()会导致网络流量（当然，假设您有并行性>1)。但是标准的窗口操作符需要一个键控流。

您可以创建一个实现CheckPointedFunction接口的ProcessFunction，并使用它来维护非键控流中的状态。但是您仍然必须实现自己的计时器（标准的Flink计时器需要一个键控流），并将时间窗口保存为状态的一部分。

您可以编写自己的自定义RichFlatMapFunction，并在内存中对预加键的聚合执行Map>do。您仍然需要使用keyby()和窗口操作来执行聚合，但网络流量会少得多。

我想这是无国籍的也可以。但您可能需要将其设置为LRU缓存,以避免内存耗尽。你需要创建自己的定时器来冲洗窗户。

但金科玉律是先测量，再优化。如确认网络流量确实是一个问题,然后执行直升机特技以尝试减少它。