ML流水线上的spark驱动程序内存问题
我正在运行logisticregression管道，并且在这一行上：
model = pipeline.fit(train_data)
我在RDDLossFunction阶段反复得到以下错误：
我正在一个独立的集群上运行，3个工人，加起来有140GB，一个主服务器有15GB。
暂时还没有答案
-
我使用了Spark 2.1.1，并升级到了最新版本2.4.4。我从Spark UI观察到驱动程序内存在不断增加，在长时间运行之后，我出现了以下错误：java。lang.OutOfMemoryError：超出GC开销限制 在Spark 2.1.1中，驱动程序内存消耗（存储内存选项卡）极低，在运行ContextCleaner和BlockManager后，内存正在减少。 此外，我测试了Spark版本2.
-
我是否正确理解了客户端模式的文档？ 客户端模式与驱动程序在应用程序主程序中运行的集群模式相反？ 在客户端模式下，驱动程序和应用程序主程序是独立的进程，因此+必须小于计算机的内存？ 在客户端模式下，驱动程序内存不包括在应用程序主内存设置中吗？
-
spark-defaults.conf中没有任何内容，以编程方式初始化spark上下文的代码是： 在所有这些之后，Spark UI的Environment选项卡的Spark.driver.maxResultSize为10G，Spark.driver.memory为20G，但是驱动程序的存储内存的executors选项卡显示为0.0B/4.3GB。 （请注意：我以前的Spark.Driver.Mem
-
5个节点各有4个内核和32GB内存，其中一个节点（节点4）有8个内核和32GB内存。 所以我总共有6个节点-28个核，192GB RAM。（我想使用一半的内存，但要使用所有的内核） 计划在集群上运行5个spark应用程序。 我的spark\u默认值。配置如下： 我想在每个节点上使用16GB max，并通过设置以下配置在每台机器上运行4个工作实例。所以，我希望（4个实例*6个节点=24个）集群上的工
-
我正在对YARN上的Spark作业进行一些内存调优，我注意到不同的设置会给出不同的结果，并影响Spark作业运行的结果。但是，我很困惑，不明白为什么会这样，如果有人能给我一些指导和解释，我会很感激。 我将提供一些背景资料和张贴我的问题和描述案例，我已经经历了他们在下面。 我的环境设置如下： 存储器20G，每个节点20个vCore（共3个节点） Hadoop 2.6.0 火花1.4.0 我的代码对R
-
我正在通过阅读高性能Spark来学习如何配置Spark应用程序，其中提到的一句话让我感到困惑： 根据我的经验，设置Spark驱动程序内存的良好启发式方法只是不会导致驱动程序内存错误的最低可能值，即为执行程序提供最大可能的资源。 我的理解是驱动程序存在于它自己的节点中，而执行程序独立存在于工作节点上。我本以为我可以最大限度地利用驱动程序内存，而不必担心它会影响执行程序。 这本书的建议是真的吗？如果是