docker中的火花，为驱动程序/执行程序设置内存

Question

我在一个单独的Docker中运行spark-master和spark-worker。

我能看见他们在跑

PS-EF grep火花根3477 3441 0 1 05？00:04:17/usr/lib/jvm/java-1.8-openjdk/jre/bin/java-cp/usr/local/spark/conf/:/usr/local/spark/jars/*-xmx1g org.apache.spark.deploy.master.master--IP节点-master--端口7077--WebUI-端口10080

我不确定我的员工使用的是1G还是8G，我确实通过SparkConf设置内存选项

 conf.set("spark.executor.memory", "8g")
 conf.set("spark.driver.memory", "8g")

我可以在web ui中看到8g

我真的在用8G吗？有没有办法更改xmm1g部分，这些部分显示在ps下的命令行中？

**编辑

我正在运行独立集群（而不是yarn)，并且使用pyspark，不可能使用Spark-在独立集群模式下提交python文件

目前，独立模式不支持Python应用程序的集群模式。

http://spark.apache.org/docs/latest/submitting-applications.html

Answer 1

通常，您不应该在代码中设置这些选项，因为根据群集管理器，这些选项可能不会起作用。

您应该在spark-submit命令中设置这些。

请参阅此。

Spark属性主要分为两类：一类是与deploy相关的属性，如“Spark.driver.memory”、“Spark.executor.instances”，这类属性在运行时通过SparkConf编程设置时可能不会受到影响，或者行为取决于您选择的集群管理器和部署模式，所以建议通过配置文件或spark-submit命令行选项设置；另一个主要与Spark运行时控制有关，像“Spark.task.maxFailures”，这类属性可以用任何一种方式设置。

更新

# Run a Python application on a Spark standalone cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000