从日志消息中提取时间戳

Question

我试图将日志文件索引到弹性搜索。所有日志条目都被索引到一个名为消息的字段中。@时间戳字段显示条目被索引的时间，而不是日志条目的时间戳。

我用grok processor创建了一个摄取管道来定义日志条目的模式。我尝试了几种模式，但都无法实现，尤其是因为我是新手。

日志样本

2019-08-05 00:04:06 info [index.js]: Request: HTTP GET /
2019-08-05 00:04:06 error [error.js]: No authorization token was found

用grok吞食管道

"description" : "Extracting date from log line"
, "processors": [
{
"grok": {
"field": "message",
"patterns": ["%{yyyy-mm-dd HH:mm:ss:logtime} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}"]
},
"date": {
"field": "logtime",
"target_field": "@timestamp",
"formats": ["yyyy-mm-dd HH:mm:ss"]
}
}
]
}

我想要的就是能够从日志消息中提取时间戳，其他所有内容都可以被忽略、通配符或存储在一个变量中，比如消息。因此，从本质上来说，索引日志文件应该索引日志消息中的时间戳，消息的其余部分可以作为文本或字符串保留在一个字段中，无需解析消息的其余部分。

任何帮助都将不胜感激。

Answer 1

我做了下面的改变，日志消息现在正在被索引。虽然我不明白是怎么回事，但如果有人能给我一些启示，我将不胜感激

我在filebeat配置文件的Elasticsearch输出部分设置了管道：“pipelinename”。我把那行移到了文件路径部分下面的filebeat输入部分，就像这样

菲利贝特。输入：-类型：日志路径：-D:\home\site\wwwroot\logs*。日志管道：“redate”

日志消息现在正在被索引。

Answer 2

将其用作grok模式：

%{TIMESTAMP_ISO8601:logtime} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}

使用这些设置时间戳：

date{
      match => ["logtime", "yyyy-MM-dd HH:mm:ss", "ISO8601"]
      timezone => "Europe/Berlin"
      target => "@timestamp"
    }

您可以将时区更改为您的时区