java.io.StreamCorruptedException导入CSV到Spark DataFrame时

Question

我正在以独立模式运行Spark集群。Master和Worker节点都可以访问，并在Spark WebUI中具有日志。

我正在尝试将数据加载到PySpark会话中，以便我可以在Spark DataFrames上工作。

下面是几个例子（其中一个来自官方文件），我尝试使用不同的方法，但都失败了，出现了相同的错误。如

from pyspark.conf import SparkConf
from pyspark.context import SparkContext
from pyspark.sql import SQLContext

conf = SparkConf().setAppName('NAME').setMaster('spark://HOST:7077')
sc = SparkContext(conf=conf)
spark = SparkSession.builder.getOrCreate()

# a try
df = spark.read.load('/path/to/file.csv', format='csv', sep=',', header=True)

# another try
sql_ctx = SQLContext(sc)
df = sql_ctx.read.csv('/path/to/file.csv', header=True)

# and a few other tries...

每次我都会遇到同样的错误：

Py4JJavaError：调用o81时出错。csv:

org.apache.spark.SparkException：由于阶段失败而中止作业：阶段0.0中的任务0失败4次，最近一次失败：阶段0.0中丢失任务0.3（TID 3,192.168。X. X，执行器0）：

java.io.StreamCorruptedException：无效的流标头：0000000B

我从JSON和CSV加载数据（当然，适当地调整方法调用），每次错误都是相同的。

有人知道问题出在哪里吗？

Answer 1

由于这一回答，我最终解决了问题。

Spark会话的pyspark版本与Spark应用程序版本（2.4 VS 2.3）不匹配。

在2.3版下重新安装pyspark立即解决了问题#脸掌