旧一代堆内存的逐渐增加

Question

我在spark streaming中面临一个非常奇怪的问题。我使用的是spark 2.0.2、节点数3、执行器数3{1个接收器和2个处理器}、每个执行器的内存2GB、每个执行器的内核1。批次间隔为10秒。我的批量大小约为1000条记录（约150KB）。

流转时长从最初的2秒逐渐增加到几分钟，但在最初的40-50小时内运行良好。之后，调度延迟和流转时长开始上升。

我试过查看GC，发现驱动程序的旧一代堆内存容量不断增加。这可能是原因吗？我使用jstat监控堆内存。容量在六小时内从1161216字节增加到1397760字节。

驱动程序运行的机器有8个物理内核，经过40-50小时的流式处理后，机器上的CPU使用率在所有8个内核上都是100%，旧一代堆使用率已满，FullGC非常频繁。

我还看到了jira的一个问题，它说spark streaming中存在内存泄漏，但它也说spark 1.5之后解决了这个问题。这有关系吗？

编辑：

我也采取了堆转储大约50小时后应用程序启动。

Answer 1

这个问题现在已经解决了。请看一下这个，升级你的spark。