在集群提交Saprk机器学习的推荐模型任务，报异常Exception in thread “dag-scheduler-event-loop“ java.lang.StackOverflowError

在输出目录中，可以看到一部分的输出，但是不完全，因为程序一直在栈溢出。

错误原因

内存过小，数据量过大，发生栈溢出，无法保存模型

解决

设置检查点
在原程序的主方法中添加：
sc.setCheckpointDir("your chpoint directory")
因为我这是在hadoop集群上跑，这个目录必须是一个HDFS路径。
其他情况自己看着办

扩展

checkpoint的意思就是建立检查点，类似于快照。
例如在spark计算里面，计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果，但是如果在这很长的计算流程中突然中间算出的数据丢失了，spark又会根据RDD的依赖关系从头到尾计算一遍，这样子就很费性能，当然我们可以将中间的计算结果通过cache或者persist放到内存或者磁盘中，但是这样也不能保证数据完全不会丢失，存储的这个内存出问题了或者磁盘坏了，也会导致spark从头再根据RDD计算一遍。
所以就有了checkpoint，其作用就是将DAG中比较重要的中间数据做一个检查点将结果存储到一个高可用的磁盘目录(通常这个地方就是HDFS里面)