在pyspark作业中运输和使用虚拟环境

Question

问题：我正在尝试从本地计算机运行shtml" target="_blank">park submit脚本到计算机集群。集群完成的工作使用numpy。我当前遇到以下错误：

ImportError: 
Importing the multiarray numpy extension module failed.  Most
likely you are trying to import a failed build of numpy.
If you're working with a numpy git repo, try `git clean -xdf` (removes all
files not under version control).  Otherwise reinstall numpy.

Original error was: cannot import name multiarray

详细信息：在我的本地环境中，我设置了一个VirtualNV，其中包括numpy以及我在项目和其他各种库中使用的私人回购。我从位于venv/lib/site packages的site packages目录创建了一个zip文件（lib/libs.zip），其中“venv”是我的虚拟环境。我将此zip发送到远程节点。我执行spark submit的shell脚本如下所示：

$SPARK_HOME/bin/spark-submit \
  --deploy-mode cluster \
  --master yarn \
  --conf spark.pyspark.virtualenv.enabled=true  \
  --conf spark.pyspark.virtualenv.type=native \
  --conf spark.pyspark.virtualenv.requirements=${parent}/requirements.txt \
  --conf spark.pyspark.virtualenv.bin.path=${parent}/venv \
  --py-files "${parent}/lib/libs.zip" \
  --num-executors 1 \
  --executor-cores 2 \
  --executor-memory 2G \
  --driver-memory 2G \
  $parent/src/features/pi.py

我还知道，在远程节点上有一个/usr/local/bin/python2.7文件夹，其中包含一个python 2.7安装。

因此，在我的conf/spark-env.sh中，我设置了以下内容：

export PYSPARK_PYTHON=/usr/local/bin/python2.7
export PYSPARK_DRIVER_PYTHON=/usr/local/bin/python2.7

当我运行脚本时，我得到上面的错误。如果我用屏幕打印安装的_发行版，我会得到一个零长度列表[]。而且我的私有库导入正确（这对我来说，它实际上是在访问我的libs.zip站点包）。我的pi.py文件如下所示：

from myprivatelibrary.bigData.spark import spark_context
spark = spark_context()
import numpy as np
spark.parallelize(range(1, 10)).map(lambda x: np.__version__).collect()

期望/我的想法：我希望这能正确地导入numpy，特别是因为我知道numpy在我的本地VirtualTV中工作正常。我怀疑这是因为我实际上没有使用安装在远程节点上的virtualenv中的python版本。我的问题是，首先，如何解决这个问题；其次，如何在远程节点上使用virtualenv安装的python，而不是那些机器上手动安装的python？我看过一些关于这方面的评论，但坦率地说，它们写得不好。

Answer 1

使用--conf spark.pyspark.{}和导出pyspark_PYTHON=/usr/local/bin/python2.7可以为本地环境/驱动程序设置选项。要设置集群（执行器）的选项，请使用以下语法：

--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON

此外，我想你应该让你的VirtualNV重新定位（不过这是实验性的）<代码>

我们在这种情况下所做的：我们通过hdfs运送了整个anaconda分发版。

如果我们讨论的是不同的环境（MacOS与Linux，如下面的评论所述），您不能只提交一个虚拟环境，至少如果您的虚拟环境包含带有二进制文件的包（就像Numpy一样）。在这种情况下，我建议您创建一个“便携式”蟒蛇，即在Linux虚拟机中安装蟒蛇并压缩它。

关于-档案vs.-py-file：

>

--py files将python文件/包添加到python路径。从spark提交文档：

对于Python应用程序，只需传递一个.py文件代替JAR，然后使用--py文件将Python.zip、.egg或.py文件添加到搜索路径中。

--归档文件表示将这些文件提取到每个执行器的工作目录中（仅纱线簇）。

然而，在我看来，缺乏一个清晰的区别——例如，请看这篇SO帖子。

在给定的情况下，通过--archives添加anaconda.zip，并通过--py文件添加“其他python文件”。

另请参见：与Virtualenv一起运行Pyspark，这是Henning Kropp的一篇博文。