由于日期格式错误，ElasticSearch拒绝服务器的日志存储记录

Question

我在安装ELK包括REDIS的过程中，并成功地获得了一个服务器/进程通过ElasticSearch（ES）交付其日志。对此最满意。然而，在更新现有的服务器/进程以开始使用logstash时，我看到日志以yyyyy-MM-dd HH： mm： ss， sss的形式出现。注意日期和时间之间没有T。ES对此并不满意。

两台服务器使用的Log4j模式是：

<PatternLayout pattern="~%d{ISO8601} [%p] [%t] [%c{1.}] %m%n"/>

Logstash配置与源日志文件的路径相同

input{

    file{
        type => "log4j"
        path => "/var/log/restapi/*.log"
        add_field => {
            "process" => "restapi"
            "environment" => "DEVELOPMENT"
        }
        codec => multiline {

           pattern => "^~%{TIMESTAMP_ISO8601} "
           negate => "true"
           what => "previous"
        }
    }


}

filter{

    if [type] == "log4j"{
        grok{
            match => {
                message => "~%{TIMESTAMP_ISO8601:logdate}%{SPACE}\[%{LOGLEVEL:level}\]%{SPACE}\[%{DATA:thread}\]%{SPACE}\[%{DATA:category}\]%{SPACE}%{GREEDYDATA:messagetext}"
            }            
        }


    }

}

output{
    redis{
        host => "sched01"
        data_type => "list"
        key => "logstash"
        codec => json
    }

    stdout{codec => rubydebug}

}

与高级别的唯一区别是服务器的构建时间。寻找可能导致T的原因或将T添加到字段中的方法

Answer 1

在DatePattern转换器ISO8601_PATTERN下出现的一个错误不符合ISO8601https://issues.apache.org/jira/browse/LOG4J2-670导致我检查旧应用程序中使用的log4j2库的版本。发现是贝塔。更新到v2.3并且dateTime值开始正确填充。现在正确形成的值，弹性搜索很乐意接受它。