Apache Flink如何处理倾斜数据？

Question

例如，我有一个很大的字流，想要数每一个字。问题是这些话是歪斜的。这意味着某些词的使用频率会很高，而其他大多数词的使用频率却很低。在storm中，我们可以使用以下方法来解决这个问题。首先对流进行洗牌分组，在每个节点的一个窗口时间内计数本地字，最后更新计数到累积结果。从我的另一个问题中，我知道Flink只支持键控流上的window，否则window操作不会并行。

我的问题是在Flink中有没有一个好的方法来解决这种数据歪斜的问题？

Answer 1

数据流API当前不支持预聚合。原则上，可以为事件时间窗口添加类似组合器的特性。国际海事组织，这将是一个非常有价值的补充，但还没有做到。

但是，您可以自己实现这个特性。DataStream API提供了类似于Storm Bolts的低级操作员接口。该接口称为OneInputStreamOperator。此运算符类型为您提供了完全的控制权。实际上，内置的运算符（如窗口运算符）也是基于这个类的。

OneInputStreamOperator可以应用如下：

DataStream<Tuple2<String,Integer> inStream = ...
DataStream<String> outStream = inStream
  .transform("my op", BasicTypeInfo.STRING_TYPE_INFO, new MyOISO());