datastax spark java堆空间错误

Question

我正在尝试使用scala执行小计算。Im使用datastax-4.6。我有6个节点，每个16gb RAM和8核。当我尝试执行scala程序时，它会显示以下错误。

错误ActorSystemImpl：线程[sparkDriver-akka.actor.default-dispatcher-17]关闭ActorSystem[sparkDriver]java时出现未捕获的致命错误。lang.OutOfMemoryError：Java堆空间。我为每台机器分配了2核，执行器内存为4gb，驱动程序内存为4gb。有什么建议吗？？。

Answer 1

直接引用Russ关于Common Spark故障排除的文章（您应该阅读它！）：

火花执行器OOM：

如何在Spark上设置内存参数一旦应用程序运行，您将看到的下一个最有可能的错误是Spark执行器上的OOM。Spark是一个非常强大的内存计算工具，但它的强大功能带有一些尖锐的边缘。执行器OOM'ing最常见的原因是应用程序试图缓存或加载太多信息到内存中。根据您的用例，有几种解决方案：

1）增加作业的并行性。尝试增加作业中的分区数量。通过将工作拆分为更小的数据集，在给定时间内存中必须驻留的信息更少。对于Spark Cassandra Connector作业，这意味着减少拆分大小变量。变量spark.cassandra.input.split.size可以在上面的命令行或SparkConf对象中设置。对于其他RDD类型，请查看它们的api以确定它们如何准确确定分区大小。

2）增加存储分数变量，spark.storage.memory分数。这可以在命令行或SparkConf对象中如上设置。此变量准确设置JVM将有多少用于RDD的缓存和存储。您可以将其设置为0到1之间的值，描述执行器JVM内存的哪一部分将专用于缓存RDD。如果您的作业需要很少的随机内存，但会使用大量缓存的RDD，请增加此变量（例如：缓存RDD然后对其执行聚合。）

3） 如果所有这些都失败了，您可能只需要在每个工作线程上增加ram。对于DSE用户，请调整spark env。sh（或dse 4.6中的dse.yaml文件）文件，以增加为SPARK作业保留的SPARK\u MEM。要使这些新内存限制生效，您需要重新启动工作线程（dse sparkworker重新启动）然后通过设置spark来增加应用程序请求的ram量。执行人。命令行或SparkConf对象中的内存变量。