如何在web应用程序中为Spark设置内存？
我在运行单个节点的火花。
我的应用程序（java-web）使用的内存比可用的少。我发现这条线很有用。
对于本地模式，您只有一个执行器，而这个执行器是您的驱动程序，所以您需要设置驱动程序的内存。*也就是说，在本地模式下，当您运行spark-submit时，JVM已经启动了默认内存设置，因此在conf中设置“spark.driver.memory”实际上不会对您有任何帮助。相反，您需要运行spark-submit如下所示
bin/spark-submit--driver-memory 2G--class your.class.here app.jar
建议对jar文件使用memory-flag和bin/spark-submit
我在spark-env.sh中设置了这些内容，并运行source spark-env.sh，但仍然没有任何更改
SPARK_EXECUTOR_MEMORY=10g
SPARK_WORKER_MEMORY=10g
共有1个答案
您可以在Spark的配置文件(spark/conf/spark-defaults.sh)中配置这些参数。顺便说一句，这是一种比在spark-shell中配置更好的方法，除非您每次都想更改它。
-
我正在IntelliJ中进行一个Scala项目，该项目是通过SBT创建的。该项目将Spark作为其依赖项之一。我还在开发阶段，所以一切都在我的本地机器上运行。 我如何更改Spark配置，比如日志级别？
-
我将Web服务部署为Tomcat 8.0.24上的Web应用程序（war）。应用程序罐已经过测试，它们工作正常。现在，为了配置和测试log4j，我引发了一个运行时错误（没有连接db）。 我试图只为应用程序日志设置log4j2（而不是tomcat），并使用Netbeans 8.0.2构建war。 我在类路径中包含了以下罐子： 和log4j2。WEB-INF中的xml，只有根记录器配置为捕获来自WEB
-
问题内容： 我使用Spark Web框架创建了一个Web应用程序，但是我不知道如何部署该Web应用程序。很抱歉，如果这是非常基本的内容，但我是Spark框架的新手，找不到任何指导我如何部署Spark WebApp的文档。 如何独立部署Spark WebApp 如何构建spark webapp（用于war文件或此类文件）以及如何通过Web服务器（jetty或Tomcat）进行部署。 问题答案： 首先
-
问题内容： 我正在研究XSS（跨站点脚本）问题。我的应用程序在Oracle Weblogic门户上运行。我们使用Servlet 2.5版。 我在过滤器中添加了以下3行代码，用于设置httponly和安全cookie，它工作正常。 问题是当我注销并立即在同一浏览器中登录时。我可以登录，但是在此之后，在jsp页面上我遇到了会话超时问题。我们使用与weblogic相关的API。该API将返回空..估计是
-
我正在使用camel-spring boot starter运行kafka消费者应用程序。SpringBoot应用程序实现CommandLineRunner。在我的应用程序中配置了以下属性。 我试图在端口8080上公开springboot执行器指标，但我在公开endpoint方面面临挑战，因为它是非Web应用程序。urlhttp://localhost:8080/actuator/metrics给
-
问题内容： 我需要给我的用户一个Web界面来更改会话超时间隔。因此，Web应用程序的不同安装对其会话将具有不同的超时，但是它们不能不同。 有没有办法以编程方式设置会话超时，以便我可以使用读取配置的时间间隔并在应用程序启动时进行设置？ 问题答案： 代替使用ServletContextListener，而使用。 在该方法中，您可以通过编程方式设置 会话超时 ： 并且不要忘记在 部署描述符中 定义 侦听