当前位置: 首页 > 知识库问答 >
问题:

如何在pyspark中知道java网关端口号

锺离飞飙
2023-03-14

Pyspark shell使用Py4J启动Java网关,然后与它对话并将python SparkContext发送到Java网关。

但是,我怎么知道Spark上下文打开的是哪个端口呢?PySpark如何决定使用哪个端口来创建Java gateway Spark上下文?

附加问题:

  1. 谁启动Py4j java进程?

共有1个答案

伯丁雷
2023-03-14

可能PySpark正在使用默认端口,请参阅Py4J文档以了解详细信息https://www.Py4J.org/faq.html#what-ports-are-used-by-py4j。

 类似资料:
  • 我下载了詹金斯。war文件并运行命令java-jar-jenkins。我的war文件目录中的war。它在默认端口8080上启动了Jenkins,但现在我想更改Jenkins的默认端口,因为我正在端口8080上运行tomcat。我没有找到任何詹金斯。my C中的xml文件:/User/Username/。詹金斯文件夹。在这种情况下,如何更改Jenkins的默认端口?

  • 我在Spark 3.1.2和Hadoop 2.7中面临两个错误: 第一个是在python中导入'pyspark'并创建一个会话。 错误:'Java网关进程在发送端口号前已退出‘ 我从GitHub上的存储库中为以下Hadoop版本下载了它们:[2.7.1,2.7.7] 试过了,都不起作用。 我的环境变量--就我所检查的而言--是正确的: Windows 10 Python:3.7.10 水蟒:4.1

  • 我运行Windows10,并通过Anaconda3安装了Python3。我在用Jupyter笔记本。我从这里安装了Spark(Spark-2.3.0-bin-Hadoop2.7.tgz)。我已经解压缩了这些文件,并将它们粘贴到我的目录d:\spark中。我已经修改了环境变量: 用户变量: 变量:SPARK_HOME 值:D:\spark\bin 我已经通过conda安装/更新了以下模块: 熊猫 皮

  • 在使用intellj idea Ultimate版本时,当启动一个springboot项目后,idea会自动显示出来端口号。 当我在配置文件中设置server.port=0,并把输出日志也关闭了,idea仍然可以识别出端口号。跟据网上的说法是从jmx中拿的,我在idea的运行配置中禁用jmx端点后,确实识别不出端口号了。但我用jconsole查看启动的springboot项目中的所有属性,没有任何

  • 我正在使用Pyspark运行一些命令在Jupyter笔记本,但它是抛出错误。我尝试了这个链接中提供的解决方案(pyspark:exception:Java gateway process在发送驱动程序端口号之前退出),并且尝试了这里提供的解决方案(比如将路径更改为c:Java、卸载Java SDK 10和重新安装Java8,但它仍然给我带来了同样的错误。 我试着卸载和重新安装pyspark,我试着

  • 我尝试使用openshift路由配置istio入口。据我所知,请求路径如下: