Flink大尺寸/小高级滑动窗口性能

Question

我的用例

null

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

val oneDayCounts = joins
  .keyBy(keyFunction)
  .map(t => (t.key, 1L, t.timestampMs))
  .keyBy(0)
  .timeWindow(Time.days(1))

val sevenDayCounts = oneDayCounts
  .keyBy(0)
  .timeWindow(Time.days(7), Time.minutes(10))
  .sum(1)

// single reducer
sevenDayCounts
  .windowAll(TumblingProcessingTimeWindows.of(Time.minutes(10)))

问题

然而，如果我没有理解错的话，这将意味着由于滑动窗口的性质，单个事件将产生7*24*6=1008个记录。所以我的问题是，我如何才能减少纯粹的数额？

Answer 1

有一张JIRA票--Flink-11276--和一张google文档，主题是如何更有效地执行此操作。

我还建议您看一看本文，并讨论使用流切片的高效窗口聚合。