如何为运行在本地模式下的Spark应用程序调优内存
用本地模式运行Spark应用程序，我使用了命令，比如：
spark-submit --master local[*] my_spark_application.py
在这种情况下，这是否意味着我的应用程序使用了我的本地计算机的所有内存？其他参数，如驱动程序内存和执行程序内存是否还在工作？
共有1个答案
设置驱动程序内存是在本地spark应用程序中增加内存的唯一方法。
“由于您是在本地模式下运行Spark，设置Spark.Executor.memory将不会有任何影响，正如您所注意到的。原因是工作程序”生活“在您启动spark-shell时启动的驱动程序JVM进程中，并且用于该进程的默认内存为512M。您可以通过将Spark.driver.memory设置为更高的内存，例如5G，来增加它。”从如何设置Apache Spark Executor内存
-
我正在使用Sparklyr在一个拥有244GB RAM的虚拟机上以本地模式运行一个Spark应用程序。在我的代码中，我使用从一个文件夹读取大约50MB的CSV，然后从另一个文件夹读取大约1.5GB的CSV。我的问题是应用程序在尝试读取第二个文件夹时抛出错误。 根据我的理解，问题是驱动程序JVM可用的默认RAM是512MB--对于第二个文件夹来说太小了（在本地模式下，所有操作都在驱动程序JVM中运行
-
我已经使用Quarkus开发模式（）启动了我的应用程序，我希望能够调试它。 怎么能那么做？
-
问题内容： 我正在使用yugabyte- db-1.3.0，并尝试按照其README.md中的说明在CentOS7上本地运行yugabyte电子商务示例应用程序yugastore，如下所示： 我收到错误，如下所示： 请帮助我解决问题。 更新1： 非常感谢Dorian先生 有一些弃用警告，因为我使用的是较旧的CentOS7。只需按以下步骤启动应用程序： 问题答案： 您使用的是YugabyteDB的非
-
我有一个正在运行的Spark应用程序，它占据了所有核心，而我的其他应用程序将不会被分配任何资源。 我做了一些快速的研究，人们建议使用YARN kill或 /bin/spark-class来杀死命令。然而，我使用的是CDH版本， /bin/spark-class根本不存在，YARN kill应用程序也不起作用。 有人能和我一起吗？
-
问题内容： 从最近开始，在Eclipse Galileo中以调试模式运行程序要慢得多。 我不知道有什么变化。 您知道可能是什么原因吗？正常运行它不是问题。 问题答案： 另一个“调试中断”是方法进入/退出断点的使用。 您是否尝试一次删除 所有 断点定义？ 有时我认为Eclipse与其某些内部/显示状态不同步。也许您应该尝试设置新的工作空间（而非副本）。有时这可以帮助我从虚假功能中恢复过来。 这是您可