PySpark：Spyder中的SparkContext定义引发Java网关错误

Question

我想将Spyder与pyspark(Spark-2.1.1)一起使用，但我无法修复一个相当令人沮丧的Java错误。在激活conda环境（Python版本为3.5.3)后，我在Windows10中从命令行启动spyder。这是我的代码：

import pyspark
sc = pyspark.SparkContext("local")
file = sc.textFile("C:/test.log")
words = file.flatMap(lambda line : line.split(" "))
words.count()

  File "D:\spark-2.1.1-bin-hadoop2.7\python\pyspark\java_gateway.py", line 95, in launch_gateway
    raise Exception("Java gateway process exited before sending the driver its port number")

Exception: Java gateway process exited before sending the driver its port number

相关的环境变量似乎还可以：

回声%spark_home%

D:\spark-2.1.1-bin-hadoop2.7

Answer 1

由于1）正在工作，因此最好使用Spyder中的conda环境。

在Preferences中，转到“Python解释器”部分，从“Default（即，与Spyder的相同）”切换到“使用以下Python解释器”。

如果您的环境名为spark_env，并且Anaconda安装在C:\program files\continnum\Anaconda下，则与此环境对应的python配置文件为C:\program files\continnum\Anaconda\envs\spark_env\python.exe。

要检查环境变量，可以使用python代码确保这些变量与脚本看到的相同：

   from os import environ
   print(environ['SPARK_HOME'])
   print(environ['JAVA_HOME'])
   try:
          print(environ['PYSPARK_SUBMIT_ARGS'])
   except:
      print("no problem with PYSPARK_SUBMIT_ARGS")  # https://github.com/ContinuumIO/anaconda-issues/issues/1276#issuecomment-277355043

希望能有所帮助。