在spark中执行sbt包时的Java内存问题
你能建议我解决以下问题吗？
hduser@hduser-virtualbox://usr/local/spark1/project$sbt包OpenJDK 64位服务器VM警告:info:os::commit_memory(0x00000000A8000000,1073741824,0）失败；error='无法分配内存'(errno=12)#
hduser@hduser-virtualbox://usr/local/spark1/project$java-version java version“1.7.0_65”OpenJDK运行时环境(IcedTea 2.5.3)(7u71-2.5.3-0ubuntu0.14.04.1)OpenJDK 64位服务器VM（构建24.65-b04,混合模式）
共有1个答案
看起来您试图在相当大的Java堆大小(1GB)下运行。我会从减少这一点开始。如果您真的需要这么多，您可能会遇到麻烦：看起来您的机器没有足够的RAM为您分配它。
-
1）谁能解释一下为什么显示的是31GB而不是60GB。2）还有助于为上述参数设置最佳值。
-
我在纱线簇（HDP 2.4）中使用Spark，设置如下： 1主节点 64 GB RAM(48 GB可用） 12核（8核可用） 每个64 GB RAM(48 GB可用） 每个12核（8核可用） null
-
我是一个新的spark框架，我想知道什么是驱动内存和执行器内存？从两者中获得最大性能的有效方法是什么？
-
我已经将spark.executor.memory设置为2048M，在UI“环境”页面中，我可以看到这个值已经设置正确。但是在“executors”页面中，我看到只有一个executor，它的内存是265.4MB。非常奇怪的价值。为什么不是256MB，或者就像我设定的那样？
-
我的集群配置如下：-7个节点，每个节点有32个核心和252 GB内存。 纱线配置如下：- map reduce配置如下：- null 在这种情况下，对于纱线调度程序，执行器内存+384最大不能超过10GB。在本例中，9856M+384 MB=10GB，因此它工作正常。现在，一旦spark shell启动，执行程序的总数是124个，而不是请求的175个。每个执行器的spark shell启动日志或s
-
null null 为了进行简单的开发，我使用在独立集群模式下（8个工作者、20个内核、45.3G内存）执行了我的Python代码。现在我想为性能调优设置执行器内存或驱动程序内存。 在Spark文档中，执行器内存的定义是 每个执行程序进程使用的内存量，格式与JVM内存字符串相同（例如512M、2G)。