SparkContext（）和SparkConf（）有bug吗

Question

from pyspark import *
from pyspark.streaming import *

cfg = SparkConf().setMaster('yarn').setAppName('MyApp')
sc = SparkContext(conf=cfg)
print(sc.getConf().getAll())

rdd = sc.parallelize(list('abcdefg')).map(lambda x:(x,1))
print(rdd.collect())

[(u'spark.master', u'local[10]'), ...]

spark.master local[10]

然后我在Spark2.0.2中运行相同的代码，SparkConf（）也可以工作

所以它真的是一个bug？

Answer 1

要利用yarn，您应该指定驱动程序应该在主节点上运行还是在某个辅助节点上运行。

YARN-客户端将在主节点上执行驱动程序

SparkConf().setMaster('yarn-client')

yarn-cluster将在其中一个工作节点上执行驱动程序

SparkConf().setMaster('yarn-cluster')