pyspark无法创建spark数据帧

Question

我想使用PySpark创建spark数据帧，为此我在PyCharm中运行了以下代码:

from pyspark.sql import SparkSession
Spark_Session:SparkSession.builder\
.enableHiveSupport()\
.master("local"\
.getOrCreate()

但是，它会返回此错误：

使用 Spark 的默认 log4j 配置文件：组织/缓存/火花/log4j-defaults.属性 将默认日志级别设置为“WARN”。要调整日志记录级别，请使用 sc.setLogLevel（新级别）。对于 SparkR，请使用 setLogLevel（新级别）。18/01/08 10：17：55 WARN 本机代码加载程序：无法为您的平台加载本机 hadoop 库...在适用的情况下使用内置 Java 类 18/01/08 10：18：14 WARN 对象存储：无法获取数据库global_temp，返回 NoSuch 对象异常

这个问题我应该怎么解决

Answer 1

你在哪里运行这个？Hadoop安装了吗？Spark似乎找不到它：无法为您的平台加载本机hadoop库…使用内置java类。您需要确保正确的库可用。在Spark UI中，您可以检查上下文。

尝试：

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Spark Example") \
    .getOrCreate()

这应该有效。