配置Spark与Jupyter笔记本和Anaconda一起使用

Question

我已经花了几天的时间试图用我的Jupyter笔记本和Anaconda让Spark工作。这是我的想法。bash_html" target="_blank">配置文件看起来像：

PATH="/my/path/to/anaconda3/bin:$PATH"

export JAVA_HOME="/my/path/to/jdk"
export PYTHON_PATH="/my/path/to/anaconda3/bin/python"
export PYSPARK_PYTHON="/my/path/to/anaconda3/bin/python"

export PATH=$PATH:/my/path/to/spark-2.1.0-bin-hadoop2.7/bin
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark
export SPARK_HOME=/my/path/to/spark-2.1.0-bin-hadoop2.7
alias pyspark="pyspark --conf spark.local.dir=/home/puifais --num-executors 30 --driver-memory 128g --executor-memory 6g --packages com.databricks:spark-csv_2.11:1.5.0"

当我键入/my/path/to/spark-2.1.0-bin-hadoop2时。7/bin/spark shell，我可以在命令行shell中很好地启动spark。并且输出sc不是空的。它似乎工作得很好。

当我键入pyspark，它启动我的Jupyter笔记本罚款。当我创建一个新的Python3笔记本时，会出现以下错误：

[IPKernelApp] WARNING | Unknown error in handling PYTHONSTARTUP file /my/path/to/spark-2.1.0-bin-hadoop2.7/python/pyspark/shell.py: 

和sc在我的Jupyter笔记本是空的。

有人能帮助解决这个问题吗？

只是想澄清一下：冒号后面没有任何错误。我还试着用这篇文章创建我自己的启动文件，我在这里引用，这样你就不必去看了：

我创建了一个简短的初始化脚本init_spark.py如下：

from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("yarn-client")
sc = SparkContext(conf = conf)

然后把它放在~/。ipython/profile\u默认值/startup/directory

当我这样做时，错误变成：

[IPKernelApp] WARNING | Unknown error in handling PYTHONSTARTUP file /my/path/to/spark-2.1.0-bin-hadoop2.7/python/pyspark/shell.py:
[IPKernelApp] WARNING | Unknown error in handling startup files:

Answer 1

我刚刚安装了火花魔术（在重新安装了一个较新版本的火花）。

我认为单凭这一点就可以了，而且比手工修改配置文件要简单得多。

Answer 2

Conda可以帮助正确管理许多依赖项。。。

安装火花。假设spark安装在/opt/spark中，请将其包含在~/中。bashrc：

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

创建一个conda环境，其中包含除Spark之外的所有需要的依赖项：

conda create -n findspark-jupyter-openjdk8-py3 -c conda-forge python=3.5 jupyter=1.0 notebook=5.0 openjdk=8.0.144 findspark=1.1.0

激活环境

$ source activate findspark-jupyter-openjdk8-py3

启动Jupyter笔记本服务器：

$ jupyter notebook

在浏览器中，创建一个新的Python3笔记本

尝试使用以下脚本计算PI（借用此脚本）

import findspark
findspark.init()
import pyspark
import random
sc = pyspark.SparkContext(appName="Pi")
num_samples = 100000000
def inside(p):     
  x, y = random.random(), random.random()
  return x*x + y*y < 1
count = sc.parallelize(range(0, num_samples)).filter(inside).count()
pi = 4 * count / num_samples
print(pi)
sc.stop()

Answer 3

嗯，看到蹩脚的黑客，比如设置PYSPARK_DRIVER_PYTHON=jupyter，已经被提升为“解决方案”，现在往往成为标准实践，我真的很痛苦，尽管它们显然会导致丑陋的结果，比如键入pyspark最后得到的是一个Jupyter笔记本，而不是PySpark外壳，加上潜伏在下游的尚未发现的问题，例如当你试图使用上面的设置使用火花提交时...：（

（别误会我的意思，这不是你的错，我也不是在责怪你；我在这里看到了几十篇文章，其中提出、接受并投票支持了这个“解决方案”。）。

在撰写本文时（2017年12月），有一个也是唯一一个合适的方法来定制Jupyter笔记本，以便与其他语言一起工作（PySpark在这里），这就是Jupyter内核的使用。

要做的第一件事是运行jupyter kernelspec list命令，以获取机器中任何已可用内核的列表；以下是我的案例（Ubuntu）的结果：

$ jupyter kernelspec list
Available kernels:
  python2       /usr/lib/python2.7/site-packages/ipykernel/resources
  caffe         /usr/local/share/jupyter/kernels/caffe
  ir            /usr/local/share/jupyter/kernels/ir
  pyspark       /usr/local/share/jupyter/kernels/pyspark
  pyspark2      /usr/local/share/jupyter/kernels/pyspark2
  tensorflow    /usr/local/share/jupyter/kernels/tensorflow

第一个内核，python2，是IPython自带的默认内核（很有可能这是你系统中唯一的内核）；至于其余的，我还有2个Python内核（caffe

上面列表的条目是目录，每个目录都包含一个名为kernel的文件。json。让我们看看我的pyspark2内核的这个文件的内容：

{
 "display_name": "PySpark (Spark 2.0)",
 "language": "python",
 "argv": [
  "/opt/intel/intelpython27/bin/python2",
  "-m",
  "ipykernel",
  "-f",
  "{connection_file}"
 ],
 "env": {
  "SPARK_HOME": "/home/ctsats/spark-2.0.0-bin-hadoop2.6",
  "PYTHONPATH": "/home/ctsats/spark-2.0.0-bin-hadoop2.6/python:/home/ctsats/spark-2.0.0-bin-hadoop2.6/python/lib/py4j-0.10.1-src.zip",
  "PYTHONSTARTUP": "/home/ctsats/spark-2.0.0-bin-hadoop2.6/python/pyspark/shell.py",
  "PYSPARK_PYTHON": "/opt/intel/intelpython27/bin/python2"
 }
}

我没有费心将我的详细信息更改为/my/path/to等。，您已经可以看到我们的案例之间有一些差异（我使用英特尔Python 2.7，而不是Anaconda Python 3），但希望您明白这个想法（BTW，不要担心connection_file-我也不使用）。

现在，最简单的方法是手动对上面显示的内核进行必要的更改（仅路径），并将其保存在的新子文件夹中/jupyter/kernels目录（这样，如果再次运行jupyter-kernelspec-list命令，它应该是可见的）。如果您认为这种方法也是一种黑客行为，那么我同意您的看法，但它是Jupyter文档（第12页）中推荐的方法：

然而，没有一个很好的方法来修改kernelspec。一种方法使用jupyter kernelspec list查找内核。json文件，然后对其进行修改，例如kernels/python3/kernel。json，手工制作。

/jupyter/kernels文件夹，您仍然可以使用jupyter kernelspec安装安装新内核-还没有尝试过，但看看这个SO答案。

最后，不要忘记从bash概要文件中删除所有与PySpark相关的环境变量（只保留SPARK\u HOME应该可以）。并确认，当您键入pyspark时，您会发现自己有一个pyspark外壳，而不是一个Jupyter笔记本。。。

更新（注释后）：如果要将命令行参数传递给PySpark，应在env下添加PySpark\u SUBMIT\u ARGS设置；例如，下面是Spark 1.6.0内核文件的最后一行，我们仍然需要使用外部Spark csv包来读取csv文件：

"PYSPARK_SUBMIT_ARGS": "--master local --packages com.databricks:spark-csv_2.10:1.4.0 pyspark-shell"