pyspark：方法isBarrier（[]）不存在

Question

我正在尝试使用pyspark学习以下hello word级别的示例，例如下面的示例。我得到了一个“MethodisBarrier（[]）不存在”错误，代码下面包含了完整的错误。

from pyspark import SparkContext

if __name__ == '__main__':
    sc = SparkContext('local[6]', 'pySpark_pyCharm')
    rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8])
    rdd.collect()
    rdd.count()

尽管如此，当我在命令行中直接启动pyspark会话并键入相同的代码时，它工作得很好：

我的设置：

• windows 10 Pro x64

Answer 1

尝试使用Java 8（而不是更新版本），并使用

pip install findspark

然后在python脚本/会话开始时尝试导入此内容

import findspark
findspark.init()
from pyspark import SparkContext

这对我有用！

Answer 2

尝试使用启动python脚本/会话

import findspark
findspark.init()

更新系统。基于spark安装目录的路径。为我工作。

Answer 3

问题是Spark JVM库和PySpark版本之间不兼容。一般来说，PySpark版本必须与您的Spark安装版本完全匹配（而理论上匹配主要版本和次要版本就足够了，过去已经引入了维护版本中的一些不兼容性）。

换句话说，Spark 2.3.3与PySpark 2.4.0不兼容，您必须将Spark升级到2.4.0或将PySpark降级到2.3.3。

总的来说，PySpark不是设计用来作为独立库使用的。虽然PyPi包是一个方便的开发工具（只安装一个包通常比手动扩展PYTHONPATH更容易），但对于实际部署，最好坚持使用与实际Spark部署捆绑在一起的PySpark包。