如何在IntelliJ IDEA中为Spark应用程序设置日志级别？
我正在IntelliJ中进行一个Scala项目，该项目是通过SBT创建的。该项目将Spark作为其依赖项之一。我还在开发阶段，所以一切都在我的本地机器上运行。
我如何更改Spark配置，比如日志级别？
共有1个答案
在Eclipse下，在SparkContext上设置日志级别对我很有效
spark.sparkContext.setLogLevel("WARN")
-
我在运行单个节点的火花。 我的应用程序（java-web）使用的内存比可用的少。我发现这条线很有用。 对于本地模式，您只有一个执行器，而这个执行器是您的驱动程序，所以您需要设置驱动程序的内存。*也就是说，在本地模式下，当您运行spark-submit时，JVM已经启动了默认内存设置，因此在conf中设置“spark.driver.memory”实际上不会对您有任何帮助。相反，您需要运行spark-
-
我想更改我的Quarkus应用程序的日志记录级别。 如何从配置文件或运行时执行此操作？
-
使用log4j1，我能够控制单个日志记录程序级别，但属性语句似乎不能使用log4j2。我将rootLogger级别设置为DEBUG，并希望通过commons-logging抑制来自authorize.NET的大量调试日志。我正在尝试设置级别，以从http头和有线日志发出警告。 下面是详细配置记录器的log4j文档（参见“配置log4j”） 这是一个示例日志输出： 这是我当前的log4j2.prop
-
我如何在log4j2中做到这一点？注我仍然需要使用新的属性文件（不是xml或json）。 TIA
-
我知道和都在/usr/local/Spark/jars中，尽管在pom.xml中排除了这些jar，但Spark很可能引用了这些jar，因为如果删除它们，在spark-submit的运行时会给出一个ClassNotFoundException。 我的问题是：有没有一种方法可以在我的应用程序中使用Logback实现本机日志记录，同时保留Spark的内部日志记录功能。理想情况下，我希望将我的日志返回应用
-
问题内容： 我目前正在使用log4j的项目中。我正在运行一个测试用例（junit），并希望将日志级别设置为跟踪，以便我可以查看所有值是否正确。在项目中使用日志记录的类包含如下一行： 并使用类似这样的命令进行实际调试 我以前从未使用过log4j，有人知道我该如何仅为测试用例更改日志级别，最好仅通过在Eclipse的运行配置对话框中定义一个参数即可。 问题答案： 使用另一个配置文件 也许您可以指向另一