Nginx+Lua+Redis自动拦截访问频率过高IP

Nginx+Lua+Redis安装在公网IP为x.x.x.x的服务器上

下载安装的软件版本：nginx-1.18.0+LuaJIT-2.0.2+redis-4.0.10

Nginx+Lua+Redis安装

第一步，安装编译工具及库文件。

命令：yum groupinstall -y "Development Tools"

yum install -y libxml2-devel curl-devel siege traceroute vim lua-devel gcc gcc-c++ autoconf automake zlib zlib-devel openssl openssl-devel

第二步，安装LuaJIT。

命令：cd /usr/local/src

wget http://luajit.org/download/LuaJIT-2.0.2.tar.gz

tar zxvf LuaJIT-2.0.2.tar.gz

cd LuaJIT-2.0.2

make PREFIX=/usr/local/luajit-2.0.2

make install PREFIX=/usr/local/luajit-2.0.2

配置环境变量：

export LUAJIT_LIB=/usr/local/luajit-2.0.2/lib

export LUAJIT_INC=/usr/local/luajit-2.0.2/include/luajit-2.0

# 配置文件生效

命令：source /etc/profile

第三步，安装PCRE。（目的是让Nginx支持Rewrite功能）

# 下载PCRE安装包

命令：cd /usr/local/src

wget Download pcre-8.35.tar.gz (PCRE)

# 解压PCRE安装包

命令：tar zxvf pcre-8.35.tar.gz

# 编译安装PCRE

命令：cd pcre-8.35

./configure

make

make install

# 查看PCRE版本

命令：pcre-config --version

第四步，安装nginx。

# 下载ngx_devel_kit安装包

命令：cd /usr/local/src

wget https://github.com/simpl/ngx_devel_kit/archive/v0.3.0.tar.gz

# 下载lua-nginx-module安装包

命令：wget https://github.com/openresty/lua-nginx-module/archive/v0.10.7.tar.gz

# 下载nginx安装包

命令：wget http://nginx.org/download/nginx-1.18.0.tar.gz

# 解压安装包

命令：tar zxvf v0.3.0.tar.gz

tar zxvf v0.10.7.tar.gz

tar zxvf nginx-1.18.0.tar.gz

# 编译安装nginx

命令：cd nginx-1.18.0

./configure \

--prefix=/usr/local/nginx \

--sbin-path=/usr/sbin/nginx \

--conf-path=/etc/nginx/nginx.conf \

--error-log-path=/var/log/nginx/error.log \

--http-log-path=/var/log/nginx/access.log \

--pid-path=/var/run/nginx.pid \

--lock-path=/var/run/nginx.lock \

--http-client-body-temp-path=/var/tmp/nginx/client \

--http-proxy-temp-path=/var/tmp/nginx/proxy \

--http-fastcgi-temp-path=/var/tmp/nginx/fcgi \

--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \

--http-scgi-temp-path=/var/tmp/nginx/scgi \

--with-pcre \

--with-http_v2_module \

--with-http_ssl_module \

--with-http_realip_module \

--with-http_addition_module \

--with-http_sub_module \

--with-http_dav_module \

--with-http_flv_module \

--with-http_mp4_module \

--with-http_gunzip_module \

--with-http_gzip_static_module \

--with-http_random_index_module \

--with-http_secure_link_module \

--with-http_stub_status_module \

--with-http_auth_request_module \

--with-mail \

--with-mail_ssl_module \

--with-file-aio \

--with-http_v2_module \

--with-threads \

--with-stream \

--with-stream_ssl_module \

--with-ipv6 \

--add-module=/usr/local/src/ngx_devel_kit-0.3.0 \

--add-module=/usr/local/src/lua-nginx-module-0.10.7

make

make install

若结果显示“[-Werror=unused-but-set-variable]”，则修改文件/usr/local/src/nginx-1.18.0/objs/Makefile，去掉“CFLAGS = -I/usr/local/luajit-2.0.2/include/luajit-2.0  -pipe  -O -W -Wall -Wpointer-arith -Wno-unused-parameter -Werror -g  -DNDK_SET_VAR”中的“-Werror”。然后再次进行编译。

若结果显示“make[1]: *** [/usr/local/src/lua-nginx-module-0.10.7/src/ngx_http_lua_headers.c：151] Error1  make[1]: Leaving directory `/usr/local/src/nginx-1.18.0′”，则只需要把文件ngx_http_lua_headers.c中第151行用“/* */”注释掉即可。然后再次进行编译就没有问题了。

# 查看nginx版本

命令：/usr/sbin/nginx -v

或    /usr/sbin/nginx -V

若结果显示“error while loading shared libraries: libluajit-5.1.so.2: cannot open shared object file: No such file or directory”，则可以用命令“yum -y install lua*”安装依赖库，配置LuaJIT环境变量。

或者创建软连接

命令：ln -s /usr/local/luajit-2.0.2/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2

若结果显示“nginx version: nginx-1.18.0”,则nginx安装完成。

第五步，安装redis。

# 下载redis安装包

命令：cd /usr/local/src

wget http://download.redis.io/releases/redis-4.0.10.tar.gz

# 解压redis安装包

命令：tar zxvf redis-4.0.10.tar.gz -C /usr/local

# 编译安装redis

命令：cd /usr/local/redis-4.0.10

make

cd /usr/local/redis-4.0.10/src

make install

第六步，安装lua-resty-redis。

登录网址：https://codeload.github.com/agentzh/lua-resty-redis/tar.gz/v0.15下载lua-resty-redis-0.15.tar.gz文件后，上传到服务器/usr/local/src文件夹中，然后进行解压。把/usr/local/src/lua-resty-redis-0.15/lib/resty中的redis.lua复制到/usr/local/nginx文件夹中，命名为redis.lua。

命令：cd /usr/local/src

tar zxvf lua-resty-redis-0.15.tar.gz

cd /usr/local/src/lua-resty-redis-0.15/lib/resty

cp redis.lua /usr/local/nginx/redis.lua

Nginx+Lua+Redis配置

第一步，修改redis配置文件。

1）为了方便管理，在/usr/local中新建/redis/etc文件夹，并在将/usr/local/redis-4.0.10文件夹中的conf配置文件复制粘贴到/usr/local/redis/etc。原生的配置文件不用变，改完之后还能回到原来的样子，以保证安全。

命令：mkdir -p /usr/local/redis/etc

cp /usr/local/redis-4.0.10/redis.conf /usr/local/redis/etc

2）在/usr/local中新建/redis/bin、/redis/db和/redis/logs文件夹，/usr/local/redis-4.0.10/src文件夹中的常用命令复制粘贴到/usr/local/redis/bin。

命令：mkdir -p /usr/local/redis/bin

mkdir -p /usr/local/redis/db

mkdir -p /usr/local/redis/logs

cd /usr/local/redis-4.0.10/src
cp mkreleasdhdr.sh redis-benchmark redis-check-aof redis-check-dump redis-cli redis-server /usr/local/redis/bin

3）redis开启访问权限的方法。

编辑配置/usr/local/redis/etc/redis.conf文件，做以下几处修改：

“bind 127.0.0.1”为“bind 0.0.0.0”，

“daemonize no”改为“daemonize yes”，

“requirepass foobared”改为“requirepass 123456”，

“dir ./”改为“dir /usr/local/redis/db”，

“logfile ”改为“logfile /usr/local/redis/logs/redis.log”，

保存并重启redis。

第二步，创建 Nginx 运行使用的用户nginx。

命令：useradd -s /sbin/nologin -M nginx

（ Nginx 服务的默认用户是 nobody ，为了安全更改为 nginx，在配置文件中启用user nginx nginx;）

第三步，修改nginx配置文件。

配置nginx.conf文件，/etc/nginx/nginx.conf内容如下：

user nginx nginx;  #用户名设置为刚刚创建的用户名

worker_processes  4; #允许生成的进程数，默认为1

worker_cpu_affinity 0001 0010 0100 1000;

error_log  /var/log/nginx/error.log info; #日志位置和级别

pid      /var/run/nginx.pid; #指定nginx进程运行文件存放地址

worker_rlimit_nofile 102400; #最大连接数，默认为512

events {

        use epoll; #事件驱动模型

        worker_connections 102400; #最大连接数，默认为512

        accept_mutex off; #设置网路连接序列化，防止惊群现象发生，默认为on

        multi_accept on; #设置一个进程是否同时接受多个网络连接，默认为off

}

http

{

      include mime.types;

      default_type application/octet-stream;

      lua_package_path "/usr/local/nginx/redis.lua;;";  #添加

        ...

      server

      {

            listen 80;  #监听端口

            server_name localhost;  #域名,当前IP地址

            #charset utf-8;  #编码改为utf-8

            location / {

                root   html;

                index  index.html index.htm;

             }

            ...

}

第四步，检查配置文件nginx.conf的正确性。

命令：/usr/sbin/nginx -t

若结果显示“nginx: [emerg] mkdir() "/var/tmp/nginx/client" failed (2: No such file or directory)  nginx: configuration file /etc/nginx/nginx.conf test failed”，则说明服务无法启动。可以使用命令“mkdir -p /var/tmp/nginx”创建目录，然后再次运行命令“/usr/sbin/nginx -t”就可以了。

若结果显示“nginx: configuration file /etc/nginx/nginx.conf test is successful”，则说明nginx安装和配置成功。

Nginx+Lua+Redis启动和访问站点

第一步，启动nginx。

命令：/usr/sbin/nginx

第二步，检查nginx是否已经启动。（查看是否有进程）

命令：ps -ef | grep nginx

若结果的第一行显示“nginx：master process”，nginx已经启动。

注意：nginx：master process后面有一个路径，这就是nginx的安装路径。

第三步，访问nginx站点。

在浏览器访问已经配置好的站点IP，如果页面显示“Welcome to nginx!”,则说明Nginx已经安装及配置好了。

第四步，关闭nginx。

命令：/usr/sbin/nginx -s stop

第五步，配置文件修改后，需要指定配置文件进行nginx重启。

如果nginx服务已经停止，那就需要把nginx服务启动。

命令：/usr/sbin/nginx -c /etc/nginx/nginx.conf

重启nginx服务必须是在nginx服务已经启动的情况下进行，因为这时，/var/run中存在nginx.pid文件。

命令：/usr/sbin/nginx -s reload

第六步，前台启动redis服务。

命令：/usr/local/redis/bin/redis-server

注意：执行完该命令后，如果Lunix关闭当前会话，则redis服务也随即关闭。正常情况下，启动redis服务需要从后台启动，并且指定启动配置文件。

第七步，后台启动redis服务。

再次启动redis服务，并指定启动服务配置文件。

命令：cd /usr/local/redis/bin

redis-server /usr/local/redis/etc/redis.conf

#结果第一行最后面显示redis端口

ps -ef | grep redis

#结果第一行最后面显示redis进程号

netstat -nap | grep  6379

服务端启动成功后，启动redis 客户端，查看端口号。

命令：redis-cli

auth 123456

set [key] [value]

get [key]

exit

netstat -nap | grep 6379

第八步，前台和后台关闭redis服务。

命令：pkill redis-server

/usr/local/redis/bin/redis-cli shutdown

netstat -nap | grep 6379

在Nginx中使用Lua脚本访问Redis

第一步，连接redis，然后添加一些测试参数。

命令：redis-cli

auth 123456

set "123" "456"

第二步，编写访问控制的Lua脚本。

在/usr/local/nginx/lua中新建脚本文件access.lua，在文件中写入下面的代码：

ip_bind_time = 600  --封禁IP时间

ip_time_out = 30    --指定ip访问频率时间段

connect_count = 20 --指定ip访问频率计数最大值

--连接redis

local redis = require "resty.redis"

local red = redis:new()

local ok, err = red:connect("127.0.0.1", 6379)

red:set_timeout(1000) -- 1 sec

ok , err = red:auth("123456")

--如果连接失败，跳转到脚本结尾

if not ok then

    goto A

end

--查询ip是否在封禁段内，若在则返回403错误代码

--因封禁时间会大于ip记录时间，故此处不对ip时间key和计数key做处理

is_bind, err = red:get("bind:"..ngx.var.remote_addr)

if is_bind == '1' then

    ngx.exit(403)

    goto A

end

--如果ip记录时间大于指定时间间隔或者记录时间或者不存在ip时间key则重置时间key和计数key

--如果ip时间key小于时间间隔，则ip计数+1，且如果ip计数大于ip频率计数，则设置ip的封禁key为1

--同时设置封禁key的过期时间为封禁ip的时间

start_time, err = red:get("time:"..ngx.var.remote_addr)

ip_count, err = red:get("count:"..ngx.var.remote_addr)

if start_time == ngx.null or os.time() - start_time > ip_time_out then

    res, err = red:set("time:"..ngx.var.remote_addr , os.time())

    res, err = red:set("count:"..ngx.var.remote_addr , 1)

else

    ip_count = ip_count + 1

    res, err = red:incr("count:"..ngx.var.remote_addr)

    if ip_count >= connect_count then

        res, err = red:set("bind:"..ngx.var.remote_addr, 1)

        res, err = red:expire("bind:"..ngx.var.remote_addr, ip_bind_time)

    end

end

-- 结束标记

::A::

local ok, err = red:close()

第三步，在/etc/nginx/nginx.conf中的http{}里面新添加以下location。

location / {

        root   html;

        index  index.html index.htm;

}

location /lua {

        default_type text/plain;

        access_by_lua_file /usr/local/nginx/lua/access.lua;

        content_by_lua 'ngx.say("hello,lua!")';

}

location = /favicon.ico {

        log_not_found off;

        access_log off;

}

第四步，修改完nginx.conf后，重启nginx以及redis。

命令：service nginx restart

或    /usr/sbin/nginx -s reload

ps -ef | grep nginx

cd /usr/local/redis/bin

pkill redis-server

/usr/local/redis/bin/redis-cli shutdown

netstat -nap | grep 6379

/usr/local/redis/bin/redis-server &

redis-server /usr/local/redis/etc/redis.conf

ps -ef | grep redis

netstat -nap | grep  6379

第五步，访问x.x.x.x/lua,并一直按F5刷新。

# 连接redis

命令：redis-cli

127.0.0.1:6379> auth 123456

127.0.0.1:6379> keys *

1）"count_115.148.157.35"

2）"count:115.148.157.35"

127.0.0.1:6379> get "count_115.148.157.35"

"1"

127.0.0.1:6379> get  "count:115.148.157.35"

"20"

127.0.0.1:6379> del "count:115.148.157.35"

发现redis已经在统计访问页面的访问次数。

这个key的过期时间是30秒,若30秒没有重复访问20次，则这个key就会消失。因此，正常用户一般不会触发这个封禁的脚本。

当30秒内访问页面超过20次，触发了封禁脚本,页面显示“403 Forbidden”时，连接redis结果显示"count:115.148.157.35"，那这个key的过期时间是300秒,即300秒内这个ip无法继续访问x.x.x.x和x.x.x.x/lua页面。

这个脚本的目的：若一个IP在30秒内访问页面超过20次，则表明该IP访问频率太快，因此将该IP封禁10分钟。同时由于在redis中，key的超时时间设置为30秒，所以若两次访问间隔时间大于30秒，则将会重新开始计数。

关机重启，nginx会自动启动

第一步，修改/etc/rc.d/rc.local文件。

在/etc/rc.d/rc.local文件最后一行下面另起一行添加下面的代码：

/usr/local/nginx/sbin/nginx

第二步，给予/etc/rc.d/rc.local权限。

命令：cd /etc/rc.d

chmod +x /etc/rc.d/rc.local

第三步，服务器重启后，查看nginx是否成功自动启动。

与“nginx启动和访问站点”中的第二步和第三步一样操作。

命令：shutdown -r now  或  reboot  或  init 6  #立刻重启

           shutdown -r 10     #过10分钟自动重启

关机重启，redis会自动启动

使用redis启动/usr/local/redis-4.0.10/utils中的脚本redis_init_script设置开机自启动。

第一步，修改redis_init_script脚本代码。

redis_init_script脚本代码如下：

#!/bin/sh

...

REDISPORT=6379

#服务端所处位置

EXEC=/usr/local/redis/bin/redis-server

#客户端位置

CLIEXEC=/usr/local/redis/bin/redis-cli

#redis的PID文件位置，需要修改

PIDFILE=/var/run/redis_${REDISPORT}.pid

#redis的配置文件位置，需将${REDISPORT}修改为文件名

CONF="/usr/local/redis/etc/redis.conf"

...

第二步，将redis_init_script复制到/etc/rc.d/init.d目录下。

redis_init_script复制到/etc/rc.d/init.d，复制粘贴的启动脚本会被命名为redisd（通常都以d结尾表示是后台自启动服务）。

命令：cd /usr/local/redis-4.0.10/utils

cp redis_init_script /etc/rc.d/init.d/redisd

chmod +x /etc/rc.d/init.d/redisd

#设置为开机自启动服务器

chkconfig redisd on

在设置开机自启动时，发现错误：

service redisd does not support chkconfig

这个错误的解决办法是在启动脚本开头添加如下注释来修改运行级别，如下：

#!/bin/sh

# chkconfig:   2345 90 10

再用命令：chkconfig redisd on设置即可。

不进入redis根目录即可进行相应的操作

打开服务：service redisd start

关闭服务：service redisd stop

不进入nginx根目录即可进行相应的操作

第一步，新建nginx启动脚本代码。

在文件夹/etc/init.d中新建名为nginx的文件，然后写入下面代码成为脚本文件。代码如下：

#!/bin/bash
# nginx Startup script for the Nginx HTTP Server
# it is v.0.0.2 version.
# chkconfig: - 85 15
# description: Nginx is a high-performance web and proxy server.
#              It has a lot of features, but it's not for everyone.
# processname: nginx
# pidfile: /var/run/nginx.pid
# config: /usr/local/nginx/conf/nginx.conf
nginxd=/usr/sbin/nginx
nginx_config=/etc/nginx/nginx.conf
nginx_pid=/var/run/nginx.pid
RETVAL=0
prog="nginx"
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ ${NETWORKING} = "no" ] && exit 0
[ -x $nginxd ] || exit 0
# Start nginx daemons functions.
start() {
if [ -e $nginx_pid ];then
   echo "nginx already running...."
   exit 1
fi
   echo -n $"Starting $prog: "
   daemon $nginxd -c ${nginx_config}
   RETVAL=$?
   echo
   [ $RETVAL = 0 ] && touch /var/lock/subsys/nginx
   return $RETVAL
}
# Stop nginx daemons functions.
stop() {
        echo -n $"Stopping $prog: "
        killproc $nginxd
        RETVAL=$?
        echo
        [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /var/run/nginx.pid
}
# reload nginx service functions.
reload() {
    echo -n $"Reloading $prog: "
    #kill -HUP `cat ${nginx_pid}`
    killproc $nginxd -HUP
    RETVAL=$?
    echo
}
# See how we were called.
case "$1" in
start)
        start
        ;;
stop)
        stop
        ;;
reload)
        reload
        ;;
restart)
        stop
        start
        ;;
status)
        status $prog
        RETVAL=$?
        ;;
*)
        echo $"Usage: $prog {start|stop|restart|reload|status|help}"
        exit 1
esac
exit $RETVAL

第二步，给予/etc/init.d/nginx文件权限。

命令：chmod +x /etc/init.d/nginx

# 设置开机自启

命令：chkconfig --add nginx

chkconfig nginx on

# 检查nginx命令   

命令：service nginx

/etc/init.d/nginx: line 20: [: =: unary operator expected

Usage: nginx {start|stop|restart|reload|status|help}

第三步，检查一下脚本是否有用。

命令：/sbin/chkconfig nginx on

sudo /sbin/chkconfig --list nginx

如果结果显示“nginx 0:off 1:off 2:on 3:on 4:on 5:on 6:off”,则说明脚本文件有用。

第四步，nginx启动、关闭以及重启命令。

ps -ef | grep nginx

systemctl start nginx

systemctl stop nginx

systemctl restart nginx

或

service nginx start

service nginx stop

service nginx restart