显示pyspark失败

Question

!pip install Pyspark
import pandas as pd
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
pdf = pd.read_excel("xxxx.xlsx", sheet_name='Input (I)')
df = spark.createDataFrame(pdf)
df.show()

但是得到一个错误：

Py4JJavaError：调用o41时出错。显示字符串：组织。阿帕奇。火花SparkException：作业因阶段失败而中止：阶段1.0中的任务0失败1次，最近一次失败：阶段1.0中的任务0.0丢失（TID 1）（10.75.81.111执行器驱动程序）：org。阿帕奇。火花SparkException:Python worker无法连接回。

Answer 1

似乎与PySpark和Python之间的通信有关，可以通过更改环境变量的值来解决：

Set Env PYSPARK_PYTHON=python

但是，为什么不直接在PySpark DF上加载xlsx文件呢？类似于：

df = spark.read.format("com.crealytics.spark.excel") \
                            .option("useHeader", "true") \
                            .option("inferSchema", "true") \
                            .option("dataAddress", "Input (I)") \
                            .load("xxxx.xlsx"))