错误shell：无法在hadoop二进制路径python pycharm中找到winutils二进制文件

Question

嗯，我下载了winutils.exe，创建了“C:\winutils\bin”并复制了winutils。还创建了环境路径HADOOP_HOME。但我不明白为什么它不起作用。我的代码

from pyspark.shell import sc
os.environ ['HADOOP_HOME']= "C:\\winutils"

lines = sc.textFile("ob.txt")
pythonLines = lines .filter(lambda line: "python" in line)
print(pythonLines)

Answer 1

您应该具备的几个步骤：（对于Hadoop和Spark）

• 将winutils.exe添加到spark_home/bin
• hadoop_home/bin中的hadoop.dll和winutils.exe
• 添加到系统路径:%hadoop_home%\bin和%spark_home%\bin

尝试使用findspark（https://github.com/minrk/findspark）并将其作为测试运行：

import findspark
findspark.init("C:\Spark\spark-2.3.3-bin-hadoop2.7") #wherever your Spark directory is
import pyspark # only run after findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.sql('''select 'spark' as hello ''')