Flink可以处理单个表/窗口的大约50 GB的状态吗？

Question

我正在构建一个流分析，对于单个表，它需要大约50 GB的初始状态内存。~50 GB是我将状态加载到Scala HashMap[String，String]时使用的RAM量。

对于一个随时间增长的单个表，Flink能处理大约50 GB的状态吗？

我是否能够以流式方式对此表执行查找和更新？

注意事项：

• 我无法将类型更改为更小的类型
• 该状态用作将一个字符串映射到另一个字符串的查找
• 该州需要三年的时间才能翻番到100GB（激进的估计是，目前的州需要十年才能生产）
• 这个Flink博客声称状态大小不应该是个问题，但我想在旋转它之前我会再检查一遍。提到了TB的状态。
  • 这是一个很好的例子https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html这句话的意思是：

Answer 1

对于Flink状态下的单个表，50-100 GB不是问题。

但需要明确的是，当我们谈论在 Flink 中具有大量状态（例如，TB）时，我们谈论的是跨许多并行任务进行分片的键控状态。是的，您可以有一个非常大的表，但任何给定实例将只有该表的行的子集。

请注意，您需要选择一个状态后端 - 基于堆的状态后端，它将状态保留在内存中，作为 JVM 堆上的对象，或者 RocksDB 状态后端，它将状态保留为具有内存中缓存的磁盘上的序列化字节。