通过pythonsript关闭pyspark日志记录

Question

如何从python脚本关闭pyspark日志记录？请注意：我不想对spark logger属性文件进行任何更改。

Answer 1

要从python脚本中删除（或修改）日志记录，请执行以下操作：

python prettyprint-override">conf = SparkConf()
conf.set('spark.logConf', 'true')  # necessary in order to be able to change log level
... # other stuff and configuration

# create the session
spark = SparkSession.builder\
    .config(conf=conf) \
    .appName(app_name) \
    .getOrCreate()

# set the log level to one of ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN
spark.sparkContext.setLogLevel("OFF")

文档配置

文档设置日志级别

希望这有帮助，祝你好运！

编辑：对于早期版本，例如1.6，您可以尝试以下内容，从这里开始

logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org"). setLevel(logger.Level.OFF)
# or
logger.LogManager.getRootLogger().setLevel(logger.Level.OFF)

不幸的是，我还没有测试过，请让我知道它是否有效。