Pyspark Py4JJavaError在创建增量表时出错

Question

这是在jupyter笔记本上运行的pyspark代码。

import pyspark
from delta import *
builder = pyspark.sql.SparkSession.builder.appName("MyApp") \
         .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
  
         .config("spark.sql.catalog.spark_catalog",
         "org.apache.spark.sql.delta.catalog.DeltaCatalog")
spark = configure_spark_with_delta_pip(builder).getOrCreate()

Py4JJavaError:调用None时出错。组织。阿帕奇。火花应用程序编程接口。JAVAJavaSparkContext.：JAVAlang.IllegalAccessError:课堂组织。阿帕奇。火花存储StorageUtils$（在未命名模块@0x30cb5b99中）无法访问sun类。尼奥。DirectBuffer（在模块java.base中），因为模块java。base不导出sun。尼奥。连接至未命名模块@0x30cb5b99

• delta spark=1.1.0

export HADOOP_HOME=/opt/hadoop-2.8.0
export SPARK_HOME=/opt/spark-3.2.0-bin-hadoop3.2
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

Answer 1

注意：我的英语很差，我使用deepl。com来翻译我的母语文章，我尝试使用尽可能多的代码。

使用pip或conda安装pyspark3.1和pyspark3.2会出现一些问题，原因我无法探索，解决方案如下。

1. 安装python 3.8和java 8。

建议使用anaconda或miniconda安装python 3.8和jupyter notebook，并安装JDK 8(https://www.oracle.com/java/technologies/downloads/#java8),正如spark 3.2.1文档所说：“spark在Java 8/11、Scala 2.12/2.13、Python 3.6和R 3.5上运行。从spark 3.2.0开始，Python 3.6支持已被弃用。从spark 3.2.0开始，8u201之前的Java 8支持已被弃用。对于Scala API，spark 3.2.1使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）.对于Python 3.9，由于Apache Arrow中支持的Python版本，Arrow优化和UDF可能无法工作。请参阅最新的Python兼容性页面。对于Java11，-Dio。内蒂。Apache Arrow库还需要tryReflectionSetAccessible=true。这就阻止了java。不支持运行例外：太阳。杂项。不安全或java。尼奥。指挥部。（long，int）在Apache Arrow内部使用Netty时不可用。"

安装py4j和pyrow

conda安装py4j pyarrow

如果你安装了pyspark，请卸载。从https://spark.apache.org/downloads.html下载火花文件并解压缩，将pyspark文件夹从Spark文件夹中的python目录复制到conda包目录（例如，C：\User\wjh\minicon da3\Lib\site-包）。

最后，我不熟悉Linux，你的.bash_profile的问题可能是PYSPARK_PYTHON的值，不需要设置PYSPARK_DRIVER_PYTHON和PYSPARK_DRIVER_PYTHON_OPTS，除非你想在命令中输入pyspark后打开笔记本。但这样你就无法访问交互式。