linux的日志处理之Logrotate

目录

一、Logrotate

1.1配置文件

1.1.1关于 USR1 信号解释

1.2、logrotate的执行状态 

1.3、logrotate手动执行

1.4、执行时间配置

1.4.1、配置执行时间

1.5、根据日志大小切割日志文件

1.5.1logrotate触发机制

1.5.2 执行脚本

二、shell脚本监控：

---

一、Logrotate

1.1配置文件

linux系统默认安装logrotate，默认的配置文件：

• /etc/logrotate.conf  为主配置文件
• /etc/logrotate.d/  为配置相关子系统，用于隔离每个应用配置（Nginx、PHP、Tomcat…）

logrotate 是基于 crontab 运行的，所以这个时间点是由 crontab 控制的，具体可以查询 crontab 的配置文件 /etc/anacrontab。 系统会按照计划的频率运行 logrotate，通常是每天。在大多数的 Linux 发行版本上，计划每天运行的脚本位于 /etc/cron.daily/logrotate

自定义配置/etc/logrotate.d/

nodejs-logrotate

/logs/accesslogs/*/*.log {
 copytruncate
 daily
 dateext
 nocompress
 missingok
 rotate 1
 postrotate
 ps aux | grep rsyslogd | grep -v grep | awk -F " " '{print $2}'| xargs kill -9 && /sbin/rsyslogd
 endscript
}

syslog

/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{
    missingok
    sharedscripts
    postrotate
        systemctl kill -s HUP rsyslog.service
    endscript
}

/var/log/testlog.log {
     size=100k
     rotate 2
     postrotate
                    /usr/bin/killall -HUP syslogd
     endscript
}

这样就可以了。但是，logrotate需要另外设置它的自动运行时间。

还有，配置文件中的/usr/bin/killall -HUP syslogd 很重要，它重启了syslogd服务，这样轮替后创建的新的日志文件才能被正常写入。

logrotate配置参数

compress //通过gzip 压缩转储以后的日志
nocompress //不做gzip压缩处理
copytruncate //用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
nocopytruncate //备份日志文件不过不截断
create mode owner group //轮转时指定创建新文件的属性，如create 0777 nobody nobody
nocreate //不建立新的日志文件
delaycompress //和compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress //覆盖 delaycompress 选项，转储同时压缩。
missingok //如果日志丢失，不报错继续滚动下一个日志
errors address //专储时的错误信息发送到指定的Email 地址
ifempty //即使日志文件为空文件也做轮转，这个是logrotate的缺省选项。
notifempty //当日志文件为空时，不进行轮转
mail address //把转储的日志文件发送到指定的E-mail 地址
nomail //转储时不发送日志文件
olddir directory //转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir //转储后的日志文件和当前日志文件放在同一个目录下
sharedscripts //运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
prerotate //在logrotate转储之前需要执行的指令，例如修改文件的属性等动作；必须独立成行
postrotate //在logrotate转储之后需要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行
daily //指定转储周期为每天
weekly //指定转储周期为每周
monthly //指定转储周期为每月
rotate count //指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
dateext //使用当期日期作为命名格式
dateformat .%s //配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用，只支持 %Y %m %d %s 这四个参数
size(或minsize) log-size //当日志文件到达指定的大小时才转储，log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).
当日志文件 >= log-size 的时候就转储。 以下为合法格式：（其他格式的单位大小写没有试过）
size = 5 或 size 5 （>= 5 个字节就转储）
size = 100k 或 size 100k
size = 100M 或 size 100M

1.1.1关于 USR1 信号解释

USR1 亦通常被用来告知应用程序重载配置文件；例如，向 Apache HTTP 服务器发送一个 USR1 信号将导致以下步骤的发生：停止接受新的连接，等待当前连接停止，重新载入配置文件，重新打开日志文件，重启服务器，从而实现相对平滑的不关机的更改。

对于 USR1 和 2 都可以用户自定义的，在 POSIX 兼容的平台上，SIGUSR1 和 SIGUSR2 是发送给一个进程的信号，它表示了用户定义的情况。它们的符号常量在头文件 signal.h 中定义。在不同的平台上，信号的编号可能发生变化，因此需要使用符号名称。

kill -HUP pid
killall -HUP pName

 其中 pid 是进程标识，pName 是进程的名称。

        如果想要更改配置而不需停止并重新启动服务，可以使用上面两个命令。在对配置文件作必要的更改后，发出该命令以动态更新服务配置。根据约定，当你发送一个挂起信号 (信号 1 或 HUP) 时，大多数服务器进程 (所有常用的进程) 都会进行复位操作并重新加载它们的配置文件。

1.2、logrotate的执行状态 

/var/lib/logrotate的status文件

"/var/log/cron.log" 2023-1-13-6:0:0
"/var/log/mail.err" 2023-1-13-6:0:0
"/var/log/btmp" 2023-1-1-6:25:4

1.3、logrotate手动执行

有的时候 我们写完配置文件想看一下好不好使，可以手动执行测试一下。

2）手动执行：

如果等不及cron自动执行日志轮转，想手动强制切割日志，需要加-f参数；

# /usr/sbin/logrotate -f /etc/logrotate.d/nginx > /dev/null 2>&1

不过正式执行前最好通过Debug选项来验证一下（-d参数），这对调试也很重要

# /usr/sbin/logrotate -d -f /etc/logrotate.d/nginx

3）logrotate命令格式：

logrotate [OPTION...] <configfile>

-d, --debug ：debug模式，测试配置文件是否有错误，不真实执行。

-f, --force ：强制转储文件。

-m, --mail=command ：压缩日志后，发送日志到指定邮箱。

-s, --state=statefile ：使用指定的状态文件。

-v, --verbose ：显示转储过程

1.4、执行时间配置

1.4.1、配置执行时间

        由于Logrotate是基于CRON运行的，所以这个日志轮转的时间是由CRON控制的，具体可以查询CRON的配置文件/etc/anacrontab，过往的老版本的文件为（/etc/crontab）

cat /etc/anacrontab

# /etc/anacrontab: configuration file for anacron

# See anacron(8) and anacrontab(5) for details.

SHELL=/bin/sh
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=45
# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22

#period in days   delay in minutes   job-identifier   command
1       5       cron.daily              nice run-parts /etc/cron.daily
7       25      cron.weekly             nice run-parts /etc/cron.weekly
@monthly 45     cron.monthly            nice run-parts /etc/cron.monthly

        使用anacrontab轮转的配置文件，日志切割的生效时间是在凌晨3点到22点之间，而且随机延迟时间是45分钟，但是这样配置无法满足我们在现实中的应用

        现在的需求是将切割时间调整到每天的晚上12点，即每天切割的日志是前一天的0-24点之间的内容，操作如下：

mv /etc/anacrontab /etc/anacrontab.bak          //取消日志自动轮转的设置

使用crontab来作为日志轮转的触发容器来修改Logrotate默认执行时间

vi /etc/crontab 

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/

# run-parts
01 * * * * root run-parts /etc/cron.hourly
59 23 * * * root run-parts /etc/cron.daily
22 4 * * 0 root run-parts /etc/cron.weekly
42 4 1 * * root run-parts /etc/cron.monthly

1.5、根据日志大小切割日志文件

        为什么要用定时任务来调用，因为logrotate的最小执行时间为每天执行一次，但是日志不会等到一天才需要切分，里面的size 的定义指的是只有在满足执行机制的前提下，而且日志大小满足切分要求，才会进行切分。

在/etc/logrotate.d/local5增加配置

/var/log/local5.log {
 size=500M
 rotate 10
 postrotate
        ps aux | grep rsyslogd | grep -v grep | awk -F " " '{print $2}'| xargs kill -9 && /sbin/rsyslogd
 endscript
}

注意： 切割文件size的配置，如果过少的话会一直出发切割 影响性能

1.5.1、logrotate触发机制

然后我们需要知道logrotate的触发机制

每日 每周 每月
或者自定义 crontab任务

触发切分日志的条件

不写size就每次触发都会形成新的切分
不要使用zip格式压缩，会改变压缩文件的名字

1.5.2、 执行脚本

#!/bin/bash
for (( i = 0; i < 60; i++ )); 
do
    /usr/sbin/logrotate -f /etc/logrotate.d/local5 > /dev/null 2>&1
    sleep 1
done
exit 0

chmod +x logrotate.sh

说明：循环执行logrotate切割命令60次，间隔为1秒

crontab -e 新增:

* * * * * /usr/local/sbin/check-logrotate.sh > /dev/null 2>&1

输入crontab -l可查看已开启的定时任务

 

二、shell脚本监控：

#!/bin/bash

size=$( stat -c "%s" /var/log/local.log )
let size=size/1024

if [ "$size" -ge "100" ] ; then
     true > /var/log/local.log
fi

上面是 >= 100k就清除log文件

crontab -e 新增:

0 * * * * /usr/local/sbin/check-logrotate.sh > /dev/null 2>&1