当前位置: 首页 > 知识库问答 >
问题:

无法为pyspark OSX启动Jupyter笔记本:IPYTHON和IPYTHON_OPTS在Spark 2.0中被删除

易阳朔
2023-03-14

我已经下载了:spark-2.2.0-bin-hadoop2。7.

在我的~/。bash_简介我有以下几点:

export PATH="/Users/spandan.chakraborty/anaconda/bin:$PATH"

export SPARK_PATH=~/spark-2.2.0-bin-hadoop2.7

export PYSPARK_DRIVER_PYTHON='jupyter'

export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

alias snote='$SPARK_PATH/bin/pyspark --master local[2]'

但是,当我尝试使用命令别名启动Jupyter笔记本时:snote我收到以下错误:

pyspark启动错误:

IPYTHON和IPYTHON_OPTS在Spark 2.0中被删除。从环境中删除这些,改为设置PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS。

我已经提到了在使用Spark 2启动Ipython中发布的类似问题

但没有用。

共有2个答案

宰父冠玉
2023-03-14

以下内容解决了这个问题:

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
阴英武
2023-03-14

这对我来说很有用(我在MAC电脑上运行)

PYSPARK_DRIVER_PYTHON=ipython PYSPAK_DRIVER_PYTHON_OPTS=“notebook”/Users/abhishekdutta/Downloads/Spark/Spark-2.2.0-bin-hadoop2。7/bin/pyspark

 类似资料:
  • 我回顾了各种相关问题,包括 如何让MathJax在ipython笔记本中启用mhchem扩展 但我不能让它工作。。。 我的测试用例很简单 期待直立的$\pi$,但目前只是'\uppi'回来了。 我已经尝试了以下使用细胞魔法 这会生成

  • 出于对它的热爱,我不能从Docker容器中启动Jupyter。我的操作系统: Dockerfile: 文件只是 Docker映像是通过以下命令轻松构建的: 我运行的容器 我得到以下错误: 发生了什么事?我将Jupyter笔记本端口(8888)映射到一个容器端口(6067),因此我不明白问题出在哪里。

  • 问题内容: 在IPython / Jupyter Notebook中运行的大多数语言内核的错误报告都指出发生错误的行;但是(至少默认情况下)在笔记本电脑中未显示行号。 是否可以将行号添加到IPython / Jupyter Notebook? 问题答案: -在CodeMirror区域中切换行号。有关其他键盘快捷键,请参见快速帮助。 详细信息- (或)将您带入命令模式,然后按键应切换当前单元格行号的

  • C:\users\user\appdata\local\programs\python\python37\lib\site-packages\scipy__init__.py在154#中,这使得“from scipy import fft”返回scipy.fft,而不是np.fft 155 del fft-->156 from。导入fft C:\users\user\appdata\local\p

  • 什么是保持IPython笔记本版本控制的好策略? 笔记本格式非常适合进行版本控制:如果想要对笔记本和输出进行版本控制,那么这种方式非常有效。当人们只想对输入进行版本控制时,麻烦就来了,不包括单元输出(也称为“构建产品”),单元输出可以是大的二进制blob,尤其是电影和情节。特别是,我试图找到一个好的工作流程: 允许我在包括或排除输出之间进行选择, 防止我在不需要时意外提交输出, 允许我将输出保存在

  • 当我打开Jupyter笔记本(以前是IPython)时,它默认为。 我如何将此更改为其他位置?