当前位置: 首页 > 知识库问答 >
问题:

禁用PySpark中的INFO日志[重复]

钱和安
2023-03-14

我已经编辑了log4j.properties文件来设置log4j.root类别=INFO,控制台和日志记录已经停止在Spark-shell中,但它在pyspark中是无情的。

下面的代码在pyspark为我工作。然而,我需要设置它每次我打开pyspark控制台。

logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org").setLevel( logger.Level.OFF )
logger.LogManager.getLogger("akka").setLevel( logger.Level.OFF )

我正在寻找此问题的永久解决方案,并希望了解如何pyspark单独拾取默认属性时火花壳不是。我检查了这个线程,但找不到解决方案。

共有1个答案

裴威
2023-03-14

这对我很有效:

sc.setLogLevel("OFF")

这意味着您需要使用spark上下文对象设置日志级别OFF

 类似资料:
  • 问题内容: 我如何禁用Spring日志以使其具有我可以轻松阅读或其他人可以阅读的日志输出。关于如何禁用spring bean加载日志的类似问题的答案建议注释掉中的所有行。就我而言,没有这样的行。 这是 问题答案: 对于未明确指定的所有内容,默认日志记录为DEBUG。因此,所有内容都记录在该级别(根据你的配置判断),基本上,你正在泛滥日志。你不应删除org.springframework的记录器,而

  • 我想构建一个简单的Spring Web客户机,它从stdin发送消息,但该WebClient在stdout上显示所有调试信息。 如何禁用Webclient生成的日志? 客户代码

  • 这也许是一个很简单的问题。如何禁用Hikari-CP调试日志?在我的日志文件我有很多这样的消息 在我的日志4jconfig中。xml: 有人能告诉我记录器配置有什么问题吗? 谢谢!

  • 我们正在使用PDFBox进行一些PDF阅读和操作。但是在解析过程中,我收到了一堆这样的消息: 现在我如何禁用这些?因为如果字体被嵌入,这样的消息会在输入的每个字符上输出,因此日志文件变得非常不可用。 现在,更改总体日志级别不是一个选项,因为我需要来自其他组件的语句。 我使用的是Tomcat 5.5、log4j 1.2.16和pdfbox app 1.6.0 这是我的log4j配置文件: 编辑 修改

  • 问题内容: 我只是想在我的项目中禁用Restlet的日志到stdout / stderr,并通过org.restlet.ext.slf4j提供的SLF4J门面转发所有Restlet日志。是否有捷径可寻? 问题答案: 首先,您必须配置SLF4J来拦截Restlet对java.util.logging API的所有调用,并将它们映射到SLF4J Facade的API上的调用。您只需将jul-to- s