如何从jupyter笔记本中访问pyspark

Question

我在Ubuntu14.04上的ipython笔记本上成功地使用了pyspark[与python 2.7]，为spark创建了一个特殊的配置文件，并通过调用$ipython笔记本--profile spark启动了笔记本。创建spark配置文件的机制在许多网站上都给出了，但我使用了这里给出的一个。

$home/.ipython/profile_spark/startup/00-pyspark-setup.py包含以下代码

import os
import sys
# Configure the environment
if 'SPARK_HOME' not in os.environ:
    os.environ['SPARK_HOME'] = '/home/osboxes/spark16'
# Create a variable for our root path
SPARK_HOME = os.environ['SPARK_HOME']
# Add the PySpark/py4j to the Python Path
sys.path.insert(0, os.path.join(SPARK_HOME, "python", "build"))
sys.path.insert(0, os.path.join(SPARK_HOME, "python"))

有人能帮我处理我需要放入这个文件的配置参数吗？还是有替代的解决方案？我尝试了这里解释的findshark()，但无法使其工作。安装了Findspark，但Findspark.init（）失败，可能是因为它是为python 3编写的。

我面临的挑战是，在我的机器上旧的ipython安装上一切都很好，但我的学生从零开始安装一切，他们无法在他们的VM上运行pyspark。

Answer 1

我在~/apps/spark-1.6.2-bin-hadoop2.6/bin/pyspark本地使用spark只是为了测试目的

PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook"   ~/apps/spark-1.6.2-bin-hadoop2.6/bin/pyspark