Spark master是否自动将附加库复制到worker？

Question

我通过独立集群配置构建了Spark集群。

1. 我设置PYSPARK_PYTHON如下。

PYSPARK_PYTHON=/usr/bin/python2。7.

    from pyspark import SparkContext
    from sklearn import datasets, svm

    def run(sc):
        iris = datasets.load_iris()
        digits = [ datasets.load_digits(), datasets.load_digits()]

        def learn(x):
            clf = svm.SVC(gamma=0.001, C=100.)
            clf.fit(x.data[:-1], x.target[:-1] )
            return clf.predict(x.data[-1])

        return sc.parallelize(digits).map(learn).collect()

    if __name__ == '__main__':
        print run(SparkContext() )

我使用spark submit将此代码提交给spark master。

spark-submit --master spark://192.168.18.31:7077 /master/scipy_example.py

我以为这段代码不会工作，因为我没有安装sci-py在工人。但它起作用了。这样做对吗？我通过Web-UI确认了此代码也在集群上运行。

Answer 1

我发现spark submit将python库从主程序复制到工作程序。

请参阅下面的代码。

https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/deploy/SparkSubmit.scala#L485

我还听说它很受欢迎，但没有记录在案。