无法通过SparkyR连接到独立的spark群集。如何调试？
我可以确认使用spark shell连接到仪表盘，例如。
spark-shell --master spark://myurl:7077
作品
但是
library(sparklyr)
sc <- spark_connect(
master="spark://myurl:7077",
spark_home = "d:/spark/spark-2.4.4-bin-hadoop2.7/"
)
没有并给出错误
Error in force(code) :
Failed while connecting to sparklyr to port (8880) for sessionid (59811): Gateway in localhost:8880 did not respond.
Path: d:\spark\spark-2.4.4-bin-hadoop2.7\bin\spark-submit2.cmd
Parameters: --class, sparklyr.Shell, "C:\Users\user1\Documents\R\win-library\3.6\sparklyr\java\sparklyr-2.3-2.11.jar", 8880, 59811
Log: C:\Users\user1\AppData\Local\Temp\RtmpottVxI\file66ec13ea6ef0_spark.log
---- Output Log ----
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
Invalid maximum heap size: -Xmx10g
The specified size exceeds the maximum representable size.
共有1个答案
事实证明，我需要安装Java 8 JDK而不是JRE。
-
应用程序不是那么占用内存，有两个连接和写数据集到目录。同样的代码在spark-shell上运行没有任何失败。 寻找群集调优或任何配置设置，这将减少执行器被杀死。
-
工人出现在图片上。为了运行我的代码，我使用了以下命令：
-
我正试图按照官方文档设置一个Spark独立集群。 我的主人在一个运行ubuntu的本地vm上，我也有一个工作人员在同一台机器上运行。它是连接的，我能够在大师的WebUI中看到它的地位。 以下是WebUi图像- 我已经在两台机器上的/etc/hosts中添加了主IP地址和从IP地址。我遵循了SPARK+独立集群中给出的所有解决方案：无法从另一台机器启动worker，但它们对我不起作用。 我在两台机器
-
我有一个安装了Rstudio的生产R群集。用户在R服务器上进行负载平衡，并在那里编写代码。我还有一个单独的Spark群集，它有4个节点。使用SparkyR，我可以通过以下方式轻松连接到spark群集： 唯一我注意到的是，当我这样做时，R正式服上有一些Spark应用程序的使用。我相信这会导致一些问题。我在R生产服务器和Spark集群上都安装了Spark，位于的相同位置。 我想完全避免在我的R服务器上
-
我有一个向spark独立单节点集群提交spark作业的maven scala应用程序。提交作业时，Spark应用程序尝试使用spark-cassandra-connector访问Amazon EC2实例上托管的cassandra。连接已建立，但不返回结果。一段时间后连接器断开。如果我在本地模式下运行spark，它工作得很好。我试图创建简单的应用程序，代码如下所示： SparkContext.Sca