问题：
如何将pyspark日志记录级别设置为调试？
萧萧迟
有人能帮我设置日志级别以调试和捕获更多日志所需的spark配置吗
共有1个答案
朱兴运
在SparkSession中将SetLogLevel属性设置为Debug。
from pyspark.sql import SparkSession
spark = SparkSession.builder.master('local').appName('test').getOrCreate()
spark.sparkContext.setLogLevel("DEBUG")
#or
log4j = sc._jvm.org.apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.DEBUG)
#for custom log
log4j.LogManager.getRootLogger().info("custom log")
#2020-05-06 13:43:42 INFO root:? - custom log
类似资料：
-
我想更改我的Quarkus应用程序的日志记录级别。 如何从配置文件或运行时执行此操作？
-
这是一个很简单的问题，但我找不到信息。 （可能我对Java框架的知识严重缺乏） 如何使用application.properties设置日志级别？ 和日志文件位置等？
-
我将pyspark应用程序从我自己的工作站上的pycharm启动到一个8节点集群。这个群集还有编码在spark-defaults.conf和spark-env.sh中的设置 显示未来的信息消息，但到那时已经太晚了。 如何设置spark开始时的默认日志记录级别？
-
我在Spring Boot(1.3M1)中使用了application.properties，并开始将其转换为yaml文件，因为它变得越来越复杂。 但我在将其转换为YAML时遇到了问题：
-
在我的Java应用程序中，我使用SLF4J+Logback进行日志记录。我在开发环境中使用调试级日志记录，在生产环境中使用错误级日志记录。但是有一些消息我无论如何都想要记录下来，无论日志级别如何（类似于，但使用的是logger）。 有什么切实可行的方法可以实现这一点吗？我可以使用error或更低的级别，但我想做的是给出一些信息，所以在语义上是错误的，它不是错误。 我可以在我的中为我的类定义另一个记
-
目前我得到了一个NullPointException。我不知道如何修理它。只是想知道我是否可以调整Python日志级别，看看是否可以从中获得更多信息。问题：如何调整PySpark的日志级别？