Spark-提交执行程序内存问题
1）谁能解释一下为什么显示的是31GB而不是60GB。2）还有助于为上述参数设置最佳值。
共有1个答案
我想,
分配的内存分成两部分：1。存储（缓存数据流/表）2.处理（你能看到的那个）
31GB是可用于处理的内存。使用spark.memory.fraction属性增加/减少可用于处理的内存。
spark-shell-executor-memory 40g-executor-cores 8-num-executors 100-conf spark.memory.fraction=0.2
-
我对spark streaming有两个问题: < li >我有一个spark流应用程序正在运行，并以< code>20秒的批处理间隔收集数据，在< code>4000个批处理中，有< code>18个批处理因异常而失败: 无法计算拆分，块输入-0-1464774108087 未找到 我假设此时数据大小大于spark可用内存，并且应用程序< code>StorageLevel为< code>MEM
-
我正在对YARN上的Spark作业进行一些内存调优，我注意到不同的设置会给出不同的结果，并影响Spark作业运行的结果。但是，我很困惑，不明白为什么会这样，如果有人能给我一些指导和解释，我会很感激。 我将提供一些背景资料和张贴我的问题和描述案例，我已经经历了他们在下面。 我的环境设置如下： 存储器20G，每个节点20个vCore（共3个节点） Hadoop 2.6.0 火花1.4.0 我的代码对R
-
我的集群配置如下：-7个节点，每个节点有32个核心和252 GB内存。 纱线配置如下：- map reduce配置如下：- null 在这种情况下，对于纱线调度程序，执行器内存+384最大不能超过10GB。在本例中，9856M+384 MB=10GB，因此它工作正常。现在，一旦spark shell启动，执行程序的总数是124个，而不是请求的175个。每个执行器的spark shell启动日志或s
-
我正在通过阅读高性能Spark来学习如何配置Spark应用程序，其中提到的一句话让我感到困惑： 根据我的经验，设置Spark驱动程序内存的良好启发式方法只是不会导致驱动程序内存错误的最低可能值，即为执行程序提供最大可能的资源。 我的理解是驱动程序存在于它自己的节点中，而执行程序独立存在于工作节点上。我本以为我可以最大限度地利用驱动程序内存，而不必担心它会影响执行程序。 这本书的建议是真的吗？如果是
-
null null 为了进行简单的开发，我使用在独立集群模式下（8个工作者、20个内核、45.3G内存）执行了我的Python代码。现在我想为性能调优设置执行器内存或驱动程序内存。 在Spark文档中，执行器内存的定义是 每个执行程序进程使用的内存量，格式与JVM内存字符串相同（例如512M、2G)。
-
请先用以下条款验证我： 执行器：它的将运行在上。每个节点可以有多个执行器。 核心：它是内的一个线程，运行在上。每个执行器可以有多个内核或线程。 > 当我们提交火花作业时，它意味着什么？我们是否将工作移交给Yarn或resource manager，它将分配资源给集群中的并执行它？它是正确的理解…？ 在spark集群中用于提交作业的命令中，有一个设置执行者数量的选项。 那么这些执行器+核的数量将会是