如何根据日志负载中的某个关键字在Fluentd中更改日志消息的严重性级别（信息、错误、警告等）？

Question

我有集装箱在GKE的kubernetes运行。在/var/log/containers/my_container.log中，我有如下内容（在其他一些不同格式的日志中）：

{"log":"17-Oct-2017;04:36:29.744 : [main] [server:] [id:] [yt:] ERROR no.myproject.service.Server - call failed for some reason\n","stream":"stdout","time":"2017-10-17T04:36:29.750702216Z"}

此日志显示在Stackdriver（GKE中的Fluentd输出）上，作为信息日志和类似内容：

23:02:32.000 17-Oct-2017;04:36:29.744 : [main] [server:] [id:] [yt:] ERROR no.myproject.service.Server - call failed for some reason

所以

23:02:32.000 

<filter reform.**>
  type parser
  format /^(?<time>\d{2} [^\s]*) : (?<message2>[^ \]]*)\] (?<message3>[^ \]]*)\] (?<message4>[^ \]]*)\] (?<message5>[^ \]]*)\] (?<severity>\w)\s+(?<log2222>.*)/
  reserve_data true
  suppress_parse_error_log false
  key_name log
</filter>

我错过了什么？在编写Regex模式时，我不确定是否应该考虑kubernetes日志文件中消息的“log”字段，还是我称之为format 2的字段（在Stackdriver上添加了时间）。

我真的很感激任何建议，这将是一个很大的帮助。

Answer 1

我不知道您使用的工具，但看起来regex的第一部分与日志字符串中前缀时间的确切格式不匹配。

实际上\d{2}只匹配2个数字。

要匹配整个时间前缀，可以使用（？:\d{2}:){2}\d{2}\.\d{3}。

^(?<time>(?:\d{2}:){2}\d{2}\.\d{3} [^\s]*) : (?<message2>[^ \]]*)\] (?<message3>[^ \]]*)\] (?<message4>[^ \]]*)\] (?<message5>[^ \]]*)\] (?<severity>\w+)\s+(?<log2222>.*)