无法初始化spark上下文
我试图在Python中初始化火花上下文变量。
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)
但我得到了以下错误：
py4j。协议Py4JJavaError:调用None时出错。组织。阿帕奇。火花应用程序编程接口。JAVAJavaSparkContext.：JAVAlang.NoClassDefFoundError:无法初始化类组织。阿帕奇。火花内部的配置。组织上的包$
。阿帕奇。火花斯帕克孔夫。在组织上验证设置（SparkConf.scala:546）。阿帕奇。火花SparkContext。（SparkContext.scala:373）在org上。阿帕奇。火花应用程序编程接口。JAVAJavaSparkContext。（JavaSparkContext.scala:58）在太阳报。反映国家结构附件MPL。sun上的newInstance0（本机方法）。反映国家结构附件MPL。sun上的newInstance（NativeConstructorAccessorImpl.java:62）。反映删除构造函数或AccessorImpl。java上的newInstance（DelegatingConstructorAccessorImpl.java:45）。朗。反思。构造器。py4j上的newInstance（Constructor.java:423）。反射MethodInvoker。在py4j上调用（MethodInvoker.java:247）。反射反射引擎。在py4j调用（ReflectionEngine.java:357）。网关。在py4j调用（Gateway.java:236）。命令。构造函数命令。在py4j上调用constructor（ConstructorCommand.java:80）。命令。构造函数命令。在py4j上执行（ConstructorCommand.java:69）。网关连接。在java上运行（GatewayConnection.java:214）。朗。丝线。线程（java:748）
我四处寻找解决方案，但没有得到确切的解决方案。请帮忙。
共有3个答案
有这套吗？
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
也只是为了确保，添加路径到py4j zip（我的是py4j-0.10.1-src.zip）在火花目录：
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.1-src.zip:$PYTHONPATH
请尝试将master称为“local[*]”，而不仅仅是“local”。
设置SPARK_LOCAL_IP环境变量localhost解决了我的错误。
-
我正在尝试使用spark submit server2运行spark程序。py——主本地[2]。然后我得到了这个错误： 以下是我正在运行的代码： 谁能帮我一下我做错了什么。我试过这篇文章中的解决方案无法初始化spark上下文，但它不起作用。
-
Spark 编程的第一步是需要创建一个 SparkContext 对象，用来告诉 Spark 如何访问集群。在创建 SparkContext 之前，你需要构建一个 SparkConf 对象， SparkConf 对象包含了一些你应用程序的信息。 val conf = new SparkConf().setAppName(appName).setMaster(master) new SparkCon
-
我已经在macOS 10.14上安装了Cassandra 3.11.3。openjdk版本“11”2018-09-25 openjdk运行时环境18.9（build 11 28）openjdk 64位服务器VM 18.9（build 11 28，混合模式） 当我试图启动卡桑德拉时，我 我猜，某处没有初始化，或者存在与Java相关的不兼容性。有人有什么想法吗？
-
我试图在Windows 8.1上运行Apache Spark调用Spark shell命令时，得到以下堆栈： 系统变量配置如下： HADOOP\u主页： c： \ hadoop JAVA_HOME： C： \Java\jdk1.8.0\u 162 SCALA_HOME： C： \斯卡拉 SPARK\u主页： C： \ spark\spark-2.3.0-bin-hadoop2.7 路径： %JAV
-
我有一个使用MIP SDK的Azure函数，当调用< code>MIP时，我得到以下错误。CreateMipContext(...): 令人惊讶的是，该错误仅在 Azure 上运行时发生。在本地运行时，一切都很好。 我正在使用MIP SDK v1.8.86和.NET Core 3.1。 知道OneDS是什么或者是什么导致了错误吗？
-
新CONF:我做了一些改变来配合你所说的。现在我删除了hibernate-cfg.xml并在spring-servlet.xml中做了所有的conf: 它可能来自我的java文件吗？ 错误是： Bean 类 [org.springframework.orm.hibernate4.LocalSessionFactoryBean] 的属性 'transaction' 无效：Bean 属性 'trans