Pyspark错误：Java网关进程在发送其端口号之前退出

Question

我正在使用Pyspark运行一些命令在Jupyter笔记本，但它是抛出错误。我尝试了这个链接中提供的解决方案（pyspark：exception：Java gateway process在发送驱动程序端口号之前退出），并且尝试了这里提供的解决方案（比如将路径更改为c:Java、卸载Java SDK 10和重新安装Java8，但它仍然给我带来了同样的错误。

我试着卸载和重新安装pyspark，我试着从anaconda提示符运行，但我还是得到同样的错误。我使用的是Python3.7，而pyspark版本是2.4.0。

如果我使用这段代码，我会得到这个错误。“Exception：Java网关进程在发送其端口号之前退出”。

from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext() 
sqlContext = SQLContext(sc)
from pyspark.mllib.linalg import Vector, Vectors
from nltk.stem.wordnet import WordNetLemmatizer
from pyspark.ml.feature import RegexTokenizer, StopWordsRemover, Word2Vec

from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.mllib.linalg import Vector, Vectors
from nltk.stem.wordnet import WordNetLemmatizer
from pyspark.ml.feature import RegexTokenizer, StopWordsRemover, Word2Vec

这里是完整的错误代码图片。

Answer 1

在bash终端中输入以下内容，它将被修复：

export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"

这只是将pyspark-shell导出到shell环境变量pyspark_submit_args。