如何在log4j2中抑制重复消息

Question

我对Java和log4j2很陌生，所以很抱歉提出这个可能很奇怪的问题。我的问题如下。我编写了一个使用log4j2进行日志记录的应用程序。程序分析数据并在给定字符串无法按需要解析的情况下写入警告。有时程序会收到许多意外的字符串，因此它会一直记录相同的错误消息。所以，问题是，如何避免重复记录相同的错误消息。例如，为了在日志文件中看到2000次相同的错误消息，我希望在日志文件中有一个提示，这个错误消息被写了x次。我当前的log4j2配置文件如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<Configuration>
    <Properties>
        <Property name="pattern">%d{DEFAULT} %-5p %-18.18c %4.4L [%-15.15t] %m%n</Property>
    </Properties>

    <Appenders>
        <Console name="STDERR" target="SYSTEM_ERR">
            <PatternLayout pattern="${pattern}" />
        </Console>
    </Appenders>
    <Loggers>
        <Root level="warn">
            <AppenderRef ref="STDERR" />
        </Root>
    </Loggers>
</Configuration>

Answer 1

当然可以创建一个log4j2插件来实现这一点，但我认为日志库并不是解决这一问题的最佳场所。

我认为，如果在应用程序中跟踪您之前记录的消息，您将得到更简单的代码。如果下一条消息相同，则不要记录，而是增加一个计数器。当您点击不同的消息时，您会记录计数器值。

（这可以通过出列来跟踪多条消息而变得更通用。）

Answer 2

遗憾的是，我目前没有代码，但这就是你可以解决这个问题的方法（很可能已经有了一个解决方案）。

您可以创建一个新的appender，该appender异步记录到您的文件/控制台。

在appender中，您可以自己实现聚合。每当logevent出现时，不要立即将其写出来，而是检查您以前是否看到过该消息。如果这样做了，则增加计数器，而不是记录它。

最后，将这些聚合的日志事件转换为聚合的消息，并处理该消息，而不是数千个日志事件。

这可以通过在异步appender基础上使用第二个工作器来解决（例如）。通常（我正在考虑锁定，但我认为它对您来说非常相似），异步appender最终会将事件添加到队列中，该队列将由从该队列中工作的不同线程处理。

您可以为您的聚合消息设置不同的队列，运行的工作人员可以每5秒运行一次。如果在这5秒内，同一消息被多次看到，您的工作人员可以聚合该消息并将其放入要处理的队列中，以便最终在日志中结束。

我希望这能有所帮助，

阿图尔