findspark。init（）失败-无法正确设置SPARK\u HOME环境变量

Question

我刚开始使用Spark，我正在尝试使用Jupyter笔记本在本地（windows）机器上玩Spark

我一直在遵循几个关于设置环境变量的教程，以及通过Python和cmd使用多个函数来实现这一点，但我无法获得任何介绍性的PySpark代码。

运行时（在Jupyter笔记本中，使用Python）

from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext('lcoal', 'Spark SQL') 

或

from pyspark import SparkContext
from pyspark.html" target="_blank">sql import SQLContext
sc = SparkContext('C:\spark\spark-2.4.3-bin-hadoop2.7', 'Spark SQL') 

我得到错误：

FileNotFoundError: [WinError 2] The system cannot find the file specified

此外，

我尝试使用findpark并遇到问题：

findspark.init()
OR
findspark.init("C:\spark\spark-2.4.3-bin-hadoop2.7")

我得到了错误：

IndexError: list index out of range

从围绕这个主题的其他帖子中，我认为SPARK\u HOME变量可能设置不正确。

我的环境变量如下：我的spark是在这里提取的：C:\spark\spark-2.4.3-bin-hadoop2.7

HADOOP_HOME： C：\Spark\Spark-2.4.3-bin-hadoop2.7SPARK_HOME： C：\Spark\Spark-2.4.3-bin-hadoop2.7JAVA_HOME： C：\Program Files\Java\jdk1.8.0_201

所有这些（包括%SPARK\u HOME%\bin）都已添加到我的PATH变量中。

最后，当我命令

据我所知，我的环境变量没有问题，所以我不确定为什么通过Juputer notebook的pyspark找不到我的spark\u主页（或者这不是问题所在）。

非常感谢您的帮助！

谢谢

Answer 1

您似乎已经完成了流程的其余部分，只需要完成一步。在Jupyter NB中，运行以下命令：

import os    
os.environ['SPARK_HOME'] = 'C:\\Users\\user_name\\Desktop\\spark'

它应该将此路径添加到您的环境变量中。您还可以通过在Jupyter NB中运行以下命令来检查它是否按预期设置了正确的路径：

<代码>%环境或

for var in os.environ():  
    print(var,':',os.environ[var])

请注意代码的缩进