Pyspark始终使用系统的python

Question

我们知道一个系统有两个Python：

①<代码>系统的python

/usr/bin/python

②<代码>用户的python

~/anaconda3/envs/Python3.6/bin/python3

现在，我有了一个带有台式机（主）和笔记本电脑（从）的集群。

如果我这样设置，PysparkShell的不同模式也可以：

导出PYSPARK_PYTHON=~/anaconda3/envs/Python3.6/bin/python3

两个节点的导出PYSPARK_DRIVER_PYTHON=~/anaconda3/envs/Python3.6/bin/python3'~/. bashrc

不过，我想用jupyter笔记本配置它。所以我在每个节点的

~/.巴什尔

导出PYSPARK_PYTHON=~/anaconda3/envs/Python3.6/bin/python3

export PYSPARK\u DRIVER\u PYTHON=“jupyter”

export PYSPARK\u DRIVER\u PYTHON\u OPTS=“notebook”

然后我拿到日志

我的Spark版本是：

spark-3.0.0-preview2-bin-hadoop3。2.

我已经阅读了所有的答案

环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON

和

与jupyter/all spark笔记本中的driver 3.6版本不同的2.7版本

但运气不好。

我猜奴隶的python2.7是从系统的python.not从水蟒的python。

如何强制火花的从节点使用蟒蛇的python？

谢谢~！

Answer 1

Jupiyter正在寻找ipython，您的系统python中可能只安装了ipython。

以便在不同的python版本中使用jupyter。您需要同时使用python版本管理器（pyenv）和python环境管理器（virtualenv），您可以选择要使用的python版本和要安装的jupyter环境，以及完全隔离的python版本和软件包。

1. 在您选择的python环境中安装ipycore并安装jupyter。

完成以上步骤后。您需要确保每次Spark ReourceManager启动worker executor时，Spark worker都会切换到您选择的python版本和环境。为了在Spark worker executor运行时切换python版本和环境，需要确保Spark Resource Manager ssh进入worker后立即运行一个小脚本：

1. 转到python环境目录

完成上述步骤后，应该选择由Spark worker executor运行的python版本和jupyter。