spark 提交执行程序内存/失败批处理

Question

我对spark streaming有两个问题:

< li >我有一个spark流应用程序正在运行，并以< code>20秒的批处理间隔收集数据，在< code>4000个批处理中，有< code>18个批处理因异常而失败:

无法计算拆分，块输入-0-1464774108087 未找到

我假设此时数据大小大于spark可用内存，并且应用程序< code>StorageLevel为< code>MEMORY_ONLY。

请建议如何修复此问题。

几次应用程序之后，我不会耗尽内存吗？我需要那么多的记忆吗？

/usr/iop/4.1.0.0/spark/bin/spark-submit--主纱线--部署模式客户端--jars/home/blah。jar——num个执行器8——执行器核心5——执行器存储器20G——驱动程序存储器12G——驱动核心8＜br＞——类com.ccc.nifi。我的处理器Nifi-Spark-Streaming-20160524.jar

Answer 1

看来您的执行器内存可能会越来越满，请尝试以下几种优化技术：

< li >不是使用StorageLevel，而是MEMORY_AND_DISK。 < li >使用比普通java序列化更快更好的Kyro序列化。f yougo用于内存缓存和序列化。 < li >检查是否有gc，您可以在正在执行的任务中找到。