当前位置: 首页 > 知识库问答 >
问题:

Spark+Python-Java网关进程在发送驱动程序端口号之前退出?

公孙宸
2023-03-14

为什么我的浏览器屏幕上会出现这个错误,

#!/Python27/python
print "Content-type: text/html; charset=utf-8"
print

# enable debugging
import cgitb
cgitb.enable()

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME'] = "C:\Apache\spark-1.4.1"

# Append pyspark to Python Path
sys.path.append("C:\Apache\spark-1.4.1\python")

from pyspark import SparkContext
from pyspark import SparkConf

print ("Successfully imported Spark Modules")

# Initialize SparkContext
sc = SparkContext('local')
words = sc.parallelize(["scala","java","hadoop","spark","akka"])
print words.count()

有什么办法可以修好它吗?

共有1个答案

越国源
2023-03-14

检查错误行前是否有任何额外信息,这些信息表示:

Error: Could not create the Java Virtual Machine.

在我的例子中,它是我在conf文件中设置的一个无效选项。内存(初始堆大小)不允许有逗号:例如,3.5g是不可接受的,而3500m是不可接受的。

 类似资料:
  • 我正试图用Anaconda在我的Windows10中安装Spark,但当我试图在JupyterNotebook中运行pyspark时,我遇到了一个错误。我正在遵循本教程中的步骤。然后,我已经下载了Java8并安装了Spark 3.0.0和Hadoop 2.7。 我已经为SPARK_HOME、JAVA_HOME设置了路径,并在“path”环境中包含了“/bin”路径。 在Anaconda pyspa

  • 这是回溯 我将PyDev与Eclipse Eclipse Neon.2发行版(4.6.2)一起使用。配置如下:Libraries环境 注意:我使用的是最新的Spark版本:spark-2.1.0-bin-hadoop2.7

  • 因此,我试图使用以下方法在Python2.7中创建一个Spark会话: 我发现以下错误指向路径` 我对Spark和Pyspark还是个新手,因此无法在这里调试这个问题。我还试着看了一些其他的建议:Spark+Python-Java网关进程在向驱动程序发送端口号之前退出?和Pyspark:Exception:Java网关进程在向驱动程序发送端口号之前退出 但目前还无法解决这个问题。请救命! 下面是s

  • 我使用以下方法安装了pyspark: 根据该示例的web,它应该刚好可以用以下代码执行: 但我有一个错误: 接着,要解决第二个问题,只需在控制面板中定义HADOOP_HOME和PATH环境变量,以便任何Windows程序都可以使用它们。

  • 尝试使用时我遇到了一个问题。我在我的用户路径中安装并添加了。但根据文档,它不需要任何其他依赖项。 我的问题是,我必须安装其他东西吗?像Spark本身或类似的东西? 我在中使用。

  • 我在python环境中使用了pip安装pyspark,安装了java,但是当我尝试初始化spark会话时,我得到了一个java错误,java网关进程在发送端口号之前退出 运行时错误发布在上面,我在其他帖子中没有看到这种类型的错误