取消特定的Spark日志消息

Question

TL； DR是否有可能在不破坏所有日志的情况下抑制单个Spark日志消息？

我正在EMR上运行火花流作业，并获得日志消息，如：

17/08/17 21:09:00信息任务集经理：在ip-172-31-37-216上以17毫秒的时间完成了5259.0阶段（TID 315581）中的任务101.0。ec2。内部（107/120）17/08/17 21:09:00信息映射分区DD:从持久性列表中删除RDD 31559 17/08/17 21:09:00信息DAG计划程序：作业2629已完成：StreamingSparkJob处的foreachPartition。scala:52，采取0.080085 s 17/08/17 21:09:00信息调度程序：结果阶段5259（StreamingSparkJob.scala:52）在0.077 s 17/08/17 21:09:00完成信息作业调度程序：总延迟：0.178 s时间1503004140000 ms（执行：0.084 s）

在开发的这个阶段，没有一个是有用的，它掩盖了我的应用程序故意发出的真实日志。我想阻止Spark发出这些日志消息，或者禁止它们的记录。

AWS客户支持和各种答案（例如）表明，这可以通过在集群创建时传递一些JSON配置来实现。然而，由于这是一个流式作业（理想情况下，群集将永远保持不变，并且只是被重新部署到），我想找到一些方法来通过火花提交选项来配置它。

其他回复（例如）表明，这可以通过提交log4j来实现。属性设置log4j的文件。rootCategory=WARN，

我注意到这里的最后一段说“Spark使用log4j进行日志记录。您可以通过在conf目录中添加log4j.properties文件来配置它。一种开始的方法是复制位于那里的现有log4j.properties.template。”。我将对此进行实验，看看这是否会抑制填充日志的INFO日志。但是，这仍然不是一个理想的解决方案，因为Spark发出的一些INFO日志非常有用，例如，当它记录每个流式迭代从S3中拾取的文件数时。因此，我理想的选择是：

• 配置标志，可以切换到禁用Spark日志消息的特定类，而不会抑制所有INFO日志
• 一个"抑制与此正则表达式匹配的所有日志记录"选项，我们可以根据需要更新该选项以过滤掉我们不感兴趣的消息

这两种情况都存在吗？

（为了解决可能的响应-我不愿意只从我自己的应用程序在WARN及更高版本发出日志）




Answer 1

您可以通过log4j中的记录器namesparce来控制日志。属性，下面是一个示例：

log4j.rootLogger=WARN, console
# add a ConsoleAppender to the logger stdout to write to the console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
# use a simple message format
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
# set the log level for these components
log4j.logger.org.apache.spark=WARN
log4j.logger.org.spark-project=ERROR
log4j.logger.org.apache.hadoop=ERROR
log4j.logger.io.netty=ERROR
log4j.logger.org.apache.zookeeper=ERROR