rsyslog详解
这边使用的是3A服务器
一、日志介绍
日志概念
日志是系统用来记录系统及应用程序运行时的一些相关信息的文本文件
日志作用
日志是为了保存相关程序的运行状态、错误信息等，为了对系统进行分析、保存历史记录以及在出现错误时发现、分析错误使用
linux系统日志类型
内核信息
服务信息
应用程序信息
二、rsyslog
1、rsyslog介绍
rsyslog是linux系统中用来实现日志功能的服务。默认已经安装，并且自动启用。
作用：主要用来采集日志，不生产日志
其特性包括：
支持输出日志到各种数据库，如 MySQL，PostgreSQL，MongoDB ElasticSearch，等等；
通过 RELP + TCP 实现数据的可靠传输（基于此结合丰富的过滤条件可以建立一种 可靠的数据传输通道供其他应用来使用）；
精细的输出格式控制以及对消息的强大 过滤能力；
高精度时间戳；队列操作（内存，磁盘以及混合模式等）； 支持数据的加密和压缩传输等。
2、rsyslog概念
facility
设施，用来定义日志消息的来源，方便对日志进行分类
日志类型 日志内容
kern 内核信息
user 用户程序产生的相关信息
mail 邮件系统信息
daemon 守护进程产生的信息
auth pam认证系统信息
syslog 日志系统自身信息
authpriv ssh、ftp等登录信息
cron 系统执行定时任务产生的信息
lpr 打印相关信息
mark 服务内部的信息，时间标识
uucp Unix-to-Unix Copy 两个unix之间的相关通信
local0-local7 保留，本地使用
priority
日志级别，定义不同消息的级别
日志等级 说明（级别从低到高，记录信息越来越少）
0 debug 包含详细的开发情报的信息，通常只在调试一个程序时使用。
1 info 通用性信息，一般用来提供有用信息，
2 notice 正常信息，但是较为重要，可能需要处理
3 warning 警告信息
4 error/err 错误信息，某个功能或者模块不能正常工作的信息
5 crit 严重级别，系统或整个软件不能正常工作的信息，例如硬盘错误
6 alert 需要立刻修改的信息，如系统数据库被破坏，ISP连接丢失。
7 emerg 紧急情况，内核奔溃等重要信息
none 什么也不记录
日志设施的配置
符号 说明
. 比后面还要高的信息等级都会记录下来
.= 只有后面这个消息等级会被记录下来
.! 除了后面的消息等级，其他的都会被记录下来（注意前面需要先有其他过滤规则，否则什么不记录）
3、rsyslog配置
rsyslog.conf组成
modules，模块，配置加载的模块，如：ModLoad imudp.so配置加载UDP传输模块
global directives，全局配置，配置ryslog守护进程的全局属性，比如主信息队列大小（MainMessageQueueSize）
rules，规则（选择器+动作），每个规则行由两部分组成，selector部分和action部分，这两部分由一个或多个空格或tab分隔，selector部分指定源和日志等级，action部分指定对应的操作
模板（templates）
输出（outputs）
常用modules
imudp，传统方式的UDP传输，有损耗
imtcp，基于TCP明文的传输，只在特定情况下丢失信息，并被广泛使用
imrelp，RELP传输，不会丢失信息，但只在rsyslogd 3.15.0及以上版本中可用
规则（rules）
规则选择器（selectors）
selector也由两部分组成，设施和优先级，由点号.分隔。
第一部分为消息源或称为日志设施，第二部分为日志级别。
多个选择器用;分隔，如：*.info;mail.none。
动作（action）
action是规则描述的一部分，位于选择器的后面，规则用于处理消息
消息内容可以被写入到一个日志文件中，也可以写入到数据表表或转发到其他主机， 还可以发送给主机用户 (可以指定用户名，用 * 表示所有)
RULES配置示例
写入到本地文件中
facility.priority action
# facility.priority 日志类型.级别
# action 保存位置(文件、用户、日志服务器)
# 记录mail日志等级为error及以上日志
mail.err /var/log/mail_err.log
# 将mail的所有信息，除了info以外，其他的都写入/var/adm/mail
mail.*;mail.!=info /var/adm/mail
# 紧急消息（emerg级别）将使用wall显示给当前所有登录的用户
*.=emerg *
# 该规则将所有alert以及更高级别的消息定向到操作员的终端，即登录的用户“root”和“joey”的终端。
*.alert root,joey
# 如果是日志服务器格式是：
*.* @192.168.100.1 (使用UDP协议发送)
*.* @@192.168.100.1 (使用TCP协议发送)
写入到mysql数据库中
# modules, 要将日志写到mysql中需要加载ommysql模块
$ModLoad ommysql
# rule, send to mysql
#*.* :ommysql:database-server,database-name,database-userid,database-password
*.* :ommysql:127.0.0.1,Syslog,syslogwriter,topsecret
模板（templates）
模板允许你指定日志信息格式
也可用于生成动态文件名，或在规则中使用
**TEMPLATE_NAME：**模板的名字；
PROPERTY：rsyslog本身支持的一些属性参数。
# 使用规则
$template TEMPLATE_NAME,"text %PROPERTY% more text", [OPTION]
## 以时间字符串开头的文件
$template DynamicFile,"/var/log/test_logs/%timegenerated%-test.log"
## 以年月日主机名为目录下的文件
$template DailyPerHostLogs,"/var/log/syslog/%$YEAR%/%$MONTH%/%$DAY%/%HOSTNAME%/messages.log"
## 自定义日志内容格式
$template LOGFMT,"%timegenerated% %FROMHOST-IP% %syslogtag% %msg%\n"
## 引用自定义的 动态文件名 中定义的内容
*.info ?DailyPerHostLogs
*.* ?DynamicFile
*.* /var/log/myinfo.log;LOGFMT
—模板元素属性
属性 说明
msg 日志的信息内容，message
hostname 打印该日志的主机名
source hostname属性的别名
fromhost 接收的信息来自哪个节点。这里是dns解析的名字
fromhost-ip 接收的信息来自哪个节点，这里是ip，本地是127.0.0.1
syslogtag 日志记录目标
timegenerated 高精度显示日志时间
timesteamp 同 timegenerated
timereported 日志中的时间戳
syslogseverity 日志严重性等级，数字形式表示
syslogseverity-text 日志严重性等级，文本形式表示
jsonmesg 整个日志对象作为json表示。可能出现数据重复，譬如syslogtag包含着programname，但两者都会分别表示。所以这个属性有一些额外开销，建议只有在实际需要的时候再用。
修改模板日志
vim /etc/rsyslog.conf
# 创建一个名为cky_format的模板，其中 TIMESTAMP:8:15 表示timestamp属性值切片第八位到第十五位。
$template cky_format, "%$NOW% %TIMESTAMP:8:15% %hostname% %syslogseverity-text% %syslogtag% %msg%\n"
$ActionFileDefaultTemplate cky_format
#重启rsyslog
systemctl restart rsyslog
日志格式效果
# NOW | timestamp:8:15| hostname| syslogseverity-text | syslogtag | msg
2021-12-09 09:59:54 mycomputer info systemd: Started System Logging Service.
# 时间戳 | 主机名 | 日志等级 | 服务进程 | 日志内容
三、rsyslog远程传输
1、UDP传输
Server端配置
/etc/rsyslog.conf
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
$AllowedSender UDP, 192.168.80.0/24
# This one is the template to generate the log filename dynamically, depending on the client's IP address.
# 根据客户端的IP单独存放主机日志在不同目录，syslog需要手动创建
$template Remote,"/var/log/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
# Log all messages to the dynamically formed file.
:fromhost-ip, !isequal, "127.0.0.1" ?Remote
# 排除本地主机IP日志记录，只记录远程主机日志
# 注意此规则需要在其它规则之前，否则配置没有意义，远程主机的日志也会记录到Server的日志文件中
2、TCP传输
Server端配置
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
$AllowedSender TCP, 192.168.80.0/24
# This one is the template to generate the log filename dynamically, depending on the client's IP address.
$template Remote,"/var/log/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
# Log all messages to the dynamically formed file.
:fromhost-ip, !isequal, "127.0.0.1" ?Remote
Client端配置
/etc/rsyslog.conf
*.* @@192.168.80.130