Py4JJavaError：调用时出错

Question

我是PySpark的新手。我一直在用测试样本编写代码。一旦我在更大的文件上运行代码（3gb压缩）。我的代码只做了一些过滤和连接。关于py4J，我一直在出错。

任何帮助都是有益的，我们将不胜感激。

from pyspark.sql import SparkSession
from pyspark.conf import SparkConf

ss = SparkSession \
      .builder \
      .appName("Example") \
      .getOrCreate()

ss.conf.set("spark.sql.execution.arrow.enabled", 'true')

df = ss.read.csv(directory + '/' + filename, header=True, sep=",")
# Some filtering and groupbys...
df.show()

回来

Py4JJavaError: An error occurred while calling o88.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in 
stage 3.0 failed 1 times, most recent failure: Lost task 0.0 in stage 3.0 (TID 
1, localhost, executor driver): java.lang.OutOfMemoryError: Java heap space
...
Caused by: java.lang.OutOfMemoryError: Java heap space

更新：我使用的是py4j 10.7，刚刚更新到10.8

更新（1）：添加spark。驾驶员内存：

 ss = SparkSession \
  .builder \
  .appName("Example") \
  .config("spark.driver.memory", "16g")\
  .getOrCreate()

汇总返回错误：

ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:38004)

py4j.protocol.Py4JNetworkError: Answer from Java side is empty
"Error while receiving", e, proto.ERROR_ON_RECEIVE)
py4j.protocol.Py4JNetworkError: Error while receiving

Py4JError
Py4JError: An error occurred while calling o94.showString

更新（2）：我通过更改spark默认值尝试了这一点。conf文件。仍在获取错误PySpark:java。lang.OutofMemoryError：Java堆空间

半解决：这似乎是一个一般的内存问题。我用32g内存启动了一个2倍大的实例。程序运行时没有错误。

知道了这一点，是否还有其他东西，一个conf选项可以帮助我不必运行昂贵的实例？

谢谢大家。

Answer 1

您可能没有正确的权限。

当我使用docker imagejupyter/pyspark-笔记本运行pyspark的示例代码时，我也遇到了同样的问题，它是通过在容器中使用root来解决的。

任何使用该图像的人都可以在这里找到一些提示。

Answer 2

这是通过conda安装的pyspark 2.4.0的当前问题。您需要通过conda提示符或Linux终端降级到pyspark 2.3.0：

    conda install pyspark=2.3.0