设置pyspark jvm内存（Xmx）
当我运行用pyspark编写的spark作业时，我会运行一个jvm，它的Xmx1g设置似乎无法设置。以下是ps aux的输出：
/usr/lib/jvm/jre/bin/java -cp /home/ec2-user/miniconda3/lib/python3.6/site-packages/pyspark/conf:/home/****/miniconda3/lib/python3.6/site-packages/pyspark/jars/* -Xmx1g org.apache.spark.deploy.SparkSubmit pyspark-shell
我的问题是，如何设置此属性？我可以使用SPARK\u DAEMON\u memory和SPARK\u DRIVER\u memory设置主内存，但这不会影响pyspark的派生进程。
我已经尝试了JAVA\u选项，或者实际查看了包的文件，但无法理解这是在哪里设置的。
设置火花。驾驶员内存和火花。执行人。工作环境中的记忆本身也没有帮助。
在移动到使用Spark提交提交作业后（代码和架构体系从独立配置中删除）-一切都解决了。以编程方式提交（使用SparkConf）似乎覆盖了集群的一些设置。
共有1个答案
您可以使用--confspark.driver.extraJavaOptions和--confspark.executor.extra的JavaOptions后火花提交，例如：
SPARK_LOCATION/spark-submit --verbose --master yarn-cluster --num-executors 15 --conf spark.driver.cores=3 ....... --conf spark.driver.extraJavaOptions="-Xss10m -XX:MaxPermSize=1024M " --conf spark.executor.extraJavaOptions="-Xss10m -XX:MaxPermSize=512M " .....
-
问题内容： 我的开发机器上有8GB RAM，并试图运行Apache Tomcat（7.0.29）同时托管Artifactory（2.6.3）和Jenkins（1.479）。我试图找到Jenkins的内存需求，但看起来他们的Wiki断了。 在中，我添加了以下命令： 这应该将Tomcat的JVM的大小保持在（基本上）1到3 GB之间，为我留出足够的空间来容纳其他内容， 并 为Tomcat留出足够的内存
-
WeX5 中内存有三个地方： 1 studio使用的内存，这个通过修改 studio/studio.ini 中的 -Xms40m -Xmx384m , 来控制 2 在外面启动tomcat，tomcat会去读取 apache-tomcat/bin/catalina.bat -Xms256m -Xmx1024m 3 如果是在studio中启动tomcat，tomcat使用的内存是
-
本文向大家介绍MySQL内存及虚拟内存优化设置参数，包括了MySQL内存及虚拟内存优化设置参数的使用技巧和注意事项，需要的朋友参考一下 mysql 优化调试命令 1、mysqld --verbose --help 这个命令生成所有mysqld选项和可配置变量的列表 2、通过连接它并执行这个命令，可以看到实际上使用的变量的值： mysql> SHOW VARIABLES; 还可以通过下面的语句看
-
如何增加Apache spark executor节点可用的内存？ 我有一个2 GB的文件，适合加载到Apache Spark。我目前正在1台机器上运行apache spark，因此驱动程序和执行程序在同一台机器上。这台机器有8 GB内存。 我尝试了这里提到的各种东西，但我仍然得到错误，并没有一个明确的想法，我应该改变设置。 我正在从spark-shell交互地运行我的代码
-
一、背景 今天采用10台异构的机器做测试，对500G的数据进行运算分析，业务比较简单，集群机器的结构如下： A：双核CPU×1、500G硬盘×1，内存2G×1（Slaver），5台 B：四核CPU×2、500G硬盘×2，内存4G×2（Slaver），4台 C：四核CPU×2、500G硬盘×2，内存4G×8（Master），1台 软件采用Hadoop 0.20.2，Linux操作系统。 二、过程 1
-
我已经将spark.executor.memory设置为2048M，在UI“环境”页面中，我可以看到这个值已经设置正确。但是在“executors”页面中，我看到只有一个executor，它的内存是265.4MB。非常奇怪的价值。为什么不是256MB，或者就像我设定的那样？