为什么ElasticSearch有时不显示Logstash发送的最新日志？

Question

我的日志将日志发送到 ElasticSearch，在 Logstash 输出文件中，我看到发送了新日志，但在 Kibana 发现页面中单击刷新时，它们不会显示。“发现”页面显示大约 1 小时前的日志。

什么会导致这个问题？有没有办法检查记录是否在ElasticSearch中，而不是使用Kibana？

我的日志文件中的时间戳是这样的:[2020-09-02 13:53:07，392Z]

这是管道。yml my logstash使用：

input {
    #stdin {}
    beats {
        port => "5055"
    }
    # file {
}
filter {
    grok {
        patterns_dir => "C:\logstash-7.4.2\patterns"
        match => { "message" => "^\[%{TIMESTAMP_ISO8601:timestamp}\]\[%{LOGLEVEL:level}\]\[%{Thread:thread}\]\[%{JAVACLASS:class}\](\[\d*\])? %{GREEDYDATA:msg}" }
   }
   if "_grokparsefailure" in [tags] {
       drop{}
   }
}
output {
    file {
        path => "C:\logstash-7.4.2\logstash_output.txt"
    }
    elasticsearch {
        hosts => [ "localhost:9200" ]
        index => "ts_services-%{+YYYY.MM.dd}"
    }
}

在删除现有的索引模式并创建新的索引模式后，我看到了最新的日志。但我不认为这是解决办法。

Answer 1

遵循评论中的讨论。这里的问题很常见。

Kibana的索引模式非常具体：

ts_services-2020-08*

因此，Kibana忽略了9月份的数据，即使它们在Elasticsearch中。

更改Kibana索引模式将解决此问题:

ts_services*

但是您必须更正所有自定义可视化。