Spark无法使用java。lang.OutOfMemoryError：超出GC开销限制？

Question

这是我的java代码，我在其中使用Apache Spark sql从Hive查询数据。

JavaSparkContext ctx = new JavaSparkContext(new SparkConf().setAppName("LoadData").setMaster("MasterUrl"));
HiveContext sqlContext = new HiveContext(ctx.sc());
List<Row> result = sqlContext.sql("Select * from Tablename").collectAsList();

当我运行此代码时，它抛出java.lang.OutOfMemoryError：超出GC开销限制。如何解决此问题或如何在Spark配置中增加内存。

Answer 1

你找到解决问题的方法了吗？如果有，请分享：D

这是我的想法：rdd和javaRDD有一个方法toLocalIterator（），火花文档说

迭代器将消耗与此RDD中最大分区一样多的内存。

这意味着如果rdd被划分为许多分区，迭代器将比List消耗更少的内存，您可以这样尝试：

Iterator<Row> iter = sqlContext.sql("Select * from Tablename").javaRDD().toLocalIterator();
while (iter.hasNext()){
    Row row = iter.next();
    //your code here
}

ps：这只是一个想法，我还没有测试过

Answer 2

如果您使用spark-shell来运行它，那么您可以使用驱动程序内存来提升内存限制：

火花塞-外壳-驱动程序-内存Xg[其他选项]

如果执行器有问题，则可以使用执行器内存XG调整其内存限制

您可以在指南中找到如何准确设置它们的更多信息：提交执行器内存、配置驱动程序内存。

@编辑：因为您是从Netbeans运行它，所以应该能够将它们作为JVM参数传递给Dspark。驾驶员内存=XG和Dspark。遗嘱执行人。内存=XG。我想它是在项目属性下运行的。