在jupyterlab中初始化SparkContext时出错

Question

import pyspark
sc = pyspark.SparkContext('local[*]')

Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0x724b93a8) cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not export sun.nio.ch to unnamed module @0x724b93a8

我似乎找不到是什么引起的：/

Answer 1

Spark在Java 8/11、Scala2.12、Python 3.6+和R3.5+上运行。Python 3.6支持从Spark 3.2.0起就不推荐了。

从Spark 3.2.0起，不再支持8U201之前的Java8

对于Scala API，Spark 3.2.0使用Scala 2.12。您将需要使用兼容的Scala版本(2.12.x)。