Apache Flink[在scala中]计算流数据的分位数

Question

我想用Scala计算Flink中流数据的分位数。我的问题类似于但比这一个更简单，flink计算中位数。我认为这可以通过定义一个自定义聚合函数来实现，但我正在寻找一些Scala示例。我已经看了本章中的例子https://github.com/dataArtisans/flink-training-exercises但是没有完全找到我要找的东西。我计算了总和，平均值，我想计算第95个百分位数。

val nwStream = env
  // TestData topic is our Kafka topic
  .addSource(kafkaConsumer)
  // configure timestamp and watermark assigner
  .assignTimestampsAndWatermarks(new TestDataTSAssigner)
  // group by stats by
  .keyBy(_.sSomeId)
  // sliding window is 5 minutes long and slides every 1 minute
  .timeWindow(Time.minutes(5), Time.minutes(1))
  .apply { (key: String, window: TimeWindow, events: Iterable[TestData],
            out: Collector[(String, Long, Long, Double, Double)]) =>
  out.collect((key, window.getEnd, events.size,
    events.map(_.stat1).sum/events.size,
    events.map(_.stat2).sum/events.size)
}

我希望能够在collect函数中以类似的方式计算第95个百分位数。难道没有办法用平面图来做这件事吗？如果我们能说

events.map(_.stat1).quantile(0.95)

但我知道现在没有内置的分位数函数。

任何帮助都将不胜感激。

Answer 1

跨整个流的完全精确的分位数/百分位数计算需要保持整个流处于状态，这一点根本不可伸缩。我建议使用类似于t-digest草图的东西来进行估计。

我不知道有谁对Flink这样做过，但这应该是相当直接的。