当前位置: 首页 > 知识库问答 >
问题:

为什么Spark不能在Eclipse上运行?

周凯捷
2023-03-14

我使用Python 3.7、JRE 8、JDK 1.8在Eclipse(Eclipse plugins:PyDev)上安装了带有Hadoop2.6的Pysark2.1。

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

在scala.collection.maplike$class.default(maplike.scala:228)
在scala.collection.abstractmap.default(map.scala:59)
在scala.collection.maplike$class.apply(maplike.scala:141)
在scala.collection.abstractmap.apply(map.scala:59)
在(utils.scala:1228)
在org.apache.spark.api.python.pythongatewayServer$.main(pythongatewayServer.scala:37)在org.apache.spark.api.python.pythongatewayServer.main(pythongatewayServer.scala)在sun.reflect.nativeMethodAccessorImpl.invoke0(Native Method)
在sun.reflect.nativeMethodAccessorImpl.invoke0(Native.reflect.Method.invoke(Method.java:498)
在org.apache.spark.deploy.sparksubmit$.org$apache$spark$deploy$sparksubmit$$runmain(sparksubmit.scala:738)在org.apache.spark.deploy.sparksubmit..dorunmain$1(sparksubmit.scala:187)在org.apache.spark.deploy.sparksubmit.scala:212)在org.apache.spark.deploy.sparksubmit.main(sparksubmit.scala)在org.apache.spark.deploy.sparksubmit.scala

回溯(最近调用的最后一次):

文件“C:\users\charfoush\eclipse-workspace\sample2\test2.py”,第7行

spark = SparkSession.builder.getOrCreate()   

文件“C:\users\charfoush\appdata\local\programs\python\python37-32\lib\site-packages\pyspark\sql\session.py”,第173行,在getOrCreate中

sc = SparkContext.getOrCreate(sparkConf)   

文件“C:\users\charfoush\appdata\local\programs\python\python37-32\lib\site-packages\pyspark\context.py”,第351行,在getOrCreate中

SparkContext(conf=conf or SparkConf())   

文件“C:\users\charfoush\appdata\local\programs\python\python37-32\lib\site-packages\pyspark\context.py”,第115行,在init中

SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)   

文件“C:\users\charfoush\appdata\local\programs\python\python37-32\lib\site-packages\pyspark\context.py”,第300行,在_ensure_initialized中

SparkContext._gateway = gateway or launch_gateway(conf)   

文件“C:\users\charfoush\appdata\local\programs\python\python37-32\lib\site-packages\pyspark\java_gateway.py”,第93行,在launch_gateway中

raise Exception("Java gateway process exited before sending its port number") Exception: Java gateway process exited before sending

其端口号

共有1个答案

甄坚白
2023-03-14

例如,可能会发生此问题:

  • 如果版本不匹配,则
  • 或者如果您没有正确定义spark_homepythonpath环境变量(确保它们都不针对旧版本)
 类似资料:
  • 我的问题。我试图运行matplotlib在Python 3.10在我的MacOS,但我得到以下错误: 然而,当我试着跑步的时候 然后我回来 另外,针对 终端说 此外,如果我在Sublime Text 3上使用Python 2.7.16编译代码,我可以使用matplotlib。 我的问题。如何让matplotlib在Python 3.10上运行? 因为我对Python还是新手(或者编程,就此而言),

  • 下载chromedriver并解压缩它。

  • 我在不同的地方对此进行了研究,包括stackoverflow,但我找不到一个对我有帮助的答案。 我使用的是Windows 7,64位,Atom用于64位Windows。我在目录C:\Users\Austin\Documents\Python中安装了Python 3.6.1。当我试图在Atom中运行一个简单的脚本来测试Python时,它说 “python”不被识别为内部或外部命令、可操作程序或批处理

  • 我安装了最新版本的Java,当我尝试运行eclipse时,它会说: JVM的版本不适合本产品。版本:需要或更高版本。 为什么?我该怎么办?

  • 我正在使用forEach循环一个nodeList。我的代码如下 此代码引发错误为 未捕获的TypeError:Array.Foreach不是函数 然而,一些较旧的浏览器还没有实现nodelist.foreach()和array.from()。但是这些限制可以通过使用array.prototype.foreach()来规避(本文档中有更多内容)。 参考:MDN

  • 我尝试在Eclipse Oxygo4.7上使用Java9。显然,我已经安装了Java9对marketplace氧气的支持。我无法让junit测试工作。我用两个类创建了简单的maven项目: null null 如何在Eclipse中使用Java9运行这个测试?