如何设置Apache Spark Executor内存
如何增加Apache spark executor节点可用的内存？
我有一个2 GB的文件，适合加载到Apache Spark。我目前正在1台机器上运行apache spark，因此驱动程序和执行程序在同一台机器上。这台机器有8 GB内存。
2014-10-25 22:25:12 WARN CacheManager:71 - Not enough space to cache partition rdd_1_1 in memory! Free memory is 278099801 bytes.
我尝试了这里提到的各种东西，但我仍然得到错误，并没有一个明确的想法，我应该改变设置。
我正在从spark-shell交互地运行我的代码
共有1个答案
由于您是在本地模式下运行Spark，因此设置Spark.executor.memory不会有任何效果，您已经注意到了。这是因为工作者“生活”在启动spark-shell时启动的驱动程序JVM进程中，并且使用的默认内存是512M。您可以通过将spark.driver.memory设置为更高的值，例如5G来增加这个值。您可以通过以下两种方法来实现：
>
在属性文件中设置它（默认值为$spark_home/conf/spark-defaults.conf)，
spark.driver.memory 5g
或在运行时提供配置设置
$ ./bin/spark-shell --driver-memory 5g
512 MB * 0.6 * 0.9 ~ 265.4 MB
但是当您开始在集群上运行它时，spark.executor.memory设置将在计算专用于Spark内存缓存的数量时接管。
-
我已经将spark.executor.memory设置为2048M，在UI“环境”页面中，我可以看到这个值已经设置正确。但是在“executors”页面中，我看到只有一个executor，它的内存是265.4MB。非常奇怪的价值。为什么不是256MB，或者就像我设定的那样？
-
问题内容： 我正在使用Flask，并且从get请求返回一个XML文件。如何将内容类型设置为xml？ 例如 问题答案： 尝试这样： 实际的Content-Type基于mimetype参数和字符集（默认为UTF-8）。
-
问题内容： 我的指令有 所以，我的问题是： 如何使用此指令将ng-disabled应用于元素？ 问题答案： 您将设置一个范围变量，例如： 然后在指令中可以设置该变量：
-
我在.NET相对来说是新手，我决定解决.NET核心问题，而不是学习“旧方法”。我在这里找到了一篇关于为.NET核心设置AutoMapper的详细文章，但是对于新手来说，还有更简单的演练吗？
-
我有一个页面，需要动态创建一个iframe并将其粘贴到页面上的div中。我创建iframe的方式如下： 根据某些条件，我需要：A）将iframe src设置为其他页面，或者B）动态地向iframe添加一些HTML。 我有选项A的罚款，但选项B抛出了安全错误： 在尝试设置HTML之前，是否需要在动态iframe上设置？我怎么会那么做呢？有没有更简单的方法将动态内容附加到动态iframe中？ 提前道谢
-
问题内容： 我想设置某些元素的样式属性，但是语法不正确。谁能建议我错了？ 更新：对于任何查看此内容的人，请查看注释，这不是有效的代码。 问题答案： https://facebook.github.io/react/tips/inline- styles.html 您不需要引号。