Spark vs Flink内存不足

Question

我已经建立了一个Spark and Flink k-means应用程序。我的测试用例是一个3节点集群上的100万个点的集群。

当内存瓶颈开始时，Flink开始外包给磁盘，工作缓慢，但工作正常。然而，如果内存已满，Spark将失去执行器，并再次启动（无限循环？）。

我尝试在邮件列表的帮助下自定义内存设置，谢谢。但是火花仍然不起作用。

是否需要设置任何配置？我是说Flink的记忆力很差，斯帕克也必须能够；还是不？

Answer 1

我不是火花专家（我是Flink的贡献者）。据我所知，如果没有足够的主内存，Spark无法溢出到磁盘。这是Flink优于Spark的优势之一。然而，Spark宣布了一个名为“钨”的新项目，以启用类似于Flink的托管内存。我不知道这个功能是否已经可用：https://databricks.com/blog/2015/04/28/project-tungsten-bringing-spark-closer-to-bare-metal.html

关于Spark out memory问题有几个问题（一个带有“Spark out memory”的互联网搜索也会产生很多结果）：

spark java。lang.OutOfMemoryError:Java堆空间Spark在按键分组时内存不足Spark内存不足

也许其中一个能帮上忙。