MacOS ImportError上的Spark安装和配置：没有名为pyspark的模块

Question

我正在尝试在MacOS上配置apache spark。所有在线指南都要求下载spark tar并设置一些环境变量，或者使用brew安装apache spark，然后设置一些环境变量。

现在，我使用brew安装apache spark来安装apache spark。我在terminal中运行pyspark，得到一个python提示，提示安装成功。

现在，当我尝试将pyspark导入到python文件中时，我遇到了一个错误：没有名为pyspark的模块

我无法理解的最奇怪的事情是，它如何能够启动pyspark的REPL，而无法将模块导入到python代码中。

我也尝试做pip install pyspark，但它也不能识别模块。

除了用自制软件安装apache spark外，我还设置了以下env变量。

if which java > /dev/null; then export JAVA_HOME=$(/usr/libexec/java_home); fi

if which pyspark > /dev/null; then
  export SPARK_HOME="/usr/local/Cellar/apache-spark/2.1.0/libexec/"
  export PYSPARK_SUBMIT_ARGS="--master local[2]"
fi

请建议在我的本地机器上运行pyspark代码的设置中到底缺少什么。

Answer 1

对不起，我不使用MAC，但在linux中，除了上述答案之外，还有另一种方法：

sudo ln -s $SPARK_HOME/python/pyspark /usr/local/lib/python2.7/site-packages

Python最终将从/path/to/your/Python/site包读取模块

Answer 2

pyspark模块未包含在python中

试试这个

import os
import sys

os.environ['SPARK_HOME'] = "/usr/local/Cellar/apache-spark/2.1.0/libexec/"

sys.path.append("/usr/local/Cellar/apache-spark/2.1.0/libexec/python")
sys.path.append("/usr/local/Cellar/apache-spark/2.1.0/libexec/python/lib/py4j-0.10.4-src.zip")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf

except ImportError as e:
    print ("error importing spark modules", e)
    sys.exit(1)

sc = SparkContext('local[*]','PySpark')

如果您不想这样做，请将它们包含到您的系统路径中。不要忘记包含python路径。

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.1.0/libexec/
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
export PATH=$SPARK_HOME/python:$PATH