Spark 1.4增加maxResultSize内存
我正在使用Spark1.4进行研究，并与内存设置进行斗争。我的机器有16GB内存，所以没有问题，因为我的文件只有300MB。但是，当我试图使用topandas()函数将Spark RDD转换为panda dataframe时，我收到以下错误：
serialized results of 9 tasks (1096.9 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)
我试图修复这个问题，更改了spark-config文件，但仍然得到相同的错误。我听说这是Spark1.4的一个问题，不知道您是否知道如何解决这个问题。任何帮助都是非常感谢的。
共有1个答案
您可以在sparkconf对象中设置spark.driver.maxresultsize参数：
from pyspark import SparkConf, SparkContext
# In Jupyter you have to stop the current context first
sc.stop()
# Create new config
conf = (SparkConf()
.set("spark.driver.maxResultSize", "2g"))
# Create new context
sc = SparkContext(conf=conf)
您可能还应该创建一个新的sqlcontext:
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
-
问题内容： 我在Google和此站点中搜索了我的问题，但我仍然不明白该解决方案。 我有一段程序里面有一些数据。程序在大型阵列上崩溃，并显示虚拟内存不足的错误，因此我开始考虑文件。 在此之前： 之后： 我在Ubuntu上进行了测试，并通过系统监视器看到了这种内存增加。但是我很困惑，（和）参数没有变化。 问题是-实际内存使用量的指标是什么？ 这是否表示真实指标是？（并且仅分配但仍未使用的内存） 问题答
-
问题内容： 我的开发机器上有8GB RAM，并试图运行Apache Tomcat（7.0.29）同时托管Artifactory（2.6.3）和Jenkins（1.479）。我试图找到Jenkins的内存需求，但看起来他们的Wiki断了。 在中，我添加了以下命令： 这应该将Tomcat的JVM的大小保持在（基本上）1到3 GB之间，为我留出足够的空间来容纳其他内容， 并 为Tomcat留出足够的内存
-
我试图从SSRS服务器读取报告，问题是我的内存流不能超过65536字节。 到目前为止，我已经尝试过使用内存流，但尚未成功设置其容量，然后再阅读报告本身 上面的MemoryStream必须在我读取文件之前增加它的容量。 我试过在我的应用程序中玩。配置，但我不知道从哪里开始设置内存流的字节容量
-
我想改变（增加）Java内存限制（Windows PC上的JRE）。我到处都遵循以下命令： -xms设置初始Java堆大小 -Xmx设置最大Java堆大小 例如-Xmx1024m。 但我的问题是在哪里！我必须输入这个命令吗？抱歉这个初学者的问题。通常我对java没有任何接触。
-
我使用“mvn exec:java”运行我的程序： 我没有找到更改JVM的最大内存分配。 我试过-Dexec.commandlineArgs="..."但那不起作用...
-
问题内容： 嗨，我想知道我可以根据我的应用程序增加JVM的内存。如果是，如何增加JVM的内存？我怎么知道JVM的大小？ 问题答案： 启动JVM时，可以调整两个参数以适合你的内存需求： 指定初始Java堆大小，并 最大Java堆大小。 http://www.rgagnon.com/javadetails/java-0131.html