Nginx-1.18.0+LuaJIT-2.0.5+Redis-6.0.5自动拦截访问频率过高IP

Nginx+Lua+Redis安装在公网IP为x.x.x.x的服务器上

下载安装的软件版本：nginx-1.18.0+LuaJIT-2.0.5+redis-6.0.5

Nginx+Lua+Redis安装

第一步，安装编译工具及库文件。

命令：yum groupinstall -y "Development Tools"

yum install -y libxml2-devel curl-devel siege traceroute vim lua-devel gcc gcc-c++ autoconf automake zlib zlib-devel openssl openssl-devel

第二步，安装LuaJIT。

命令：cd /usr/local/src

wget https://github.com/openresty/luajit2/tags/LuaJIT-2.0.5.tar.gz

tar zxvf LuaJIT-2.0.5.tar.gz

cd LuaJIT-2.0.5

make PREFIX=/usr/local/LuaJIT-2.0.5

make install PREFIX=/usr/local/LuaJIT-2.0.5

配置环境变量：

export LUAJIT_LIB=/usr/local/LuaJIT-2.0.5/lib

export LUAJIT_INC=/usr/local/LuaJIT-2.0.5/include/luajit-2.0

# 配置文件生效

命令：source /etc/profile

第三步，安装PCRE。（目的是让Nginx支持Rewrite功能）

# 下载PCRE安装包

命令：cd /usr/local/src

wget Download pcre-8.35.tar.gz (PCRE)

# 解压PCRE安装包

命令：tar zxvf pcre-8.35.tar.gz

# 编译安装PCRE

命令：cd pcre-8.35

./configure

make

make install

# 查看PCRE版本

命令：pcre-config --version

第四步，安装nginx。

# 下载ngx_devel_kit和lua-nginx-module安装包

命令：cd /usr/local/src

wget https://github.com/vision5/ngx_devel_kit/releases/ngx_devel_kit-0.3.0.tar.gz

wget https://github.com/openresty/lua-nginx-module/tags?after=v0.10.15rc1/lua-nginx-module-0.10.13.tar.gz

# 下载nginx安装包

命令：wget http://nginx.org/download/nginx-1.18.0.tar.gz

# 解压安装包

命令：tar zxvf ngx_devel_kit-0.3.0.tar.gz

tar zxvf lua-nginx-module-0.10.13.tar.gz

tar zxvf nginx-1.18.0.tar.gz

# 编译安装nginx

命令：cd nginx-1.18.0

./configure \

--prefix=/usr/local/nginx \

--sbin-path=/usr/sbin/nginx \

--conf-path=/etc/nginx/nginx.conf \

--error-log-path=/var/log/nginx/error.log \

--http-log-path=/var/log/nginx/access.log \

--pid-path=/var/run/nginx.pid \

--lock-path=/var/run/nginx.lock \

--http-client-body-temp-path=/var/tmp/nginx/client \

--http-proxy-temp-path=/var/tmp/nginx/proxy \

--http-fastcgi-temp-path=/var/tmp/nginx/fcgi \

--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \

--http-scgi-temp-path=/var/tmp/nginx/scgi \

--with-pcre \

--with-http_v2_module \

--with-http_ssl_module \

--with-http_realip_module \

--with-http_addition_module \

--with-http_sub_module \

--with-http_dav_module \

--with-http_flv_module \

--with-http_mp4_module \

--with-http_gunzip_module \

--with-http_gzip_static_module \

--with-http_random_index_module \

--with-http_secure_link_module \

--with-http_stub_status_module \

--with-http_auth_request_module \

--with-mail \

--with-mail_ssl_module \

--with-file-aio \

--with-http_v2_module \

--with-threads \

--with-stream \

--with-stream_ssl_module \

--with-ipv6 \

--add-module=/usr/local/src/ngx_devel_kit-0.3.0 \

--add-module=/usr/local/src/lua-nginx-module-0.10.13

make

make install

若结果显示“[-Werror=unused-but-set-variable]”，则修改文件/usr/local/src/nginx-1.18.0/objs/Makefile，去掉“CFLAGS = -I/usr/local/LuaJIT-2.0.5/include/luajit-2.0  -pipe  -O -W -Wall -Wpointer-arith -Wno-unused-parameter -Werror -g  -DNDK_SET_VAR”中的“-Werror”。然后再次进行编译。

若结果显示“make[1]: *** [/usr/local/src/lua-nginx-module-0.10.13/src/ngx_http_lua_headers.c：151] Error1  make[1]: Leaving directory `/usr/local/src/nginx-1.18.0′”，则只需要把文件ngx_http_lua_headers.c中第151行用“/* */”注释掉即可。然后再次进行编译就没有问题了。

# 查看nginx版本

命令：/usr/sbin/nginx -v

或    /usr/sbin/nginx -V

若结果显示“error while loading shared libraries: libluajit-5.1.so.2: cannot open shared object file: No such file or directory”，则可以用命令“yum -y install lua*”安装依赖库，配置LuaJIT环境变量。

或者创建软连接

命令：ln -s /usr/local/LuaJIT-2.0.5/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2

若结果显示“nginx version: nginx-1.18.0”,则nginx安装完成。

第五步，安装redis。

命令：yum -y install redis

若结果显示“redis-6.0.5-1.11.al8.x86_64”，则说明安装redis-6.0.5成功。

第六步，安装lua-resty-redis。

登录网址：https://codeload.github.com/agentzh/lua-resty-redis/tar.gz/v0.26下载lua-resty-redis-0.26.tar.gz文件后，上传到服务器/usr/local/src文件夹中，然后进行解压。把/usr/local/src/lua-resty-redis-0.26/lib/resty中的redis.lua复制到/usr/local/nginx文件夹中，命名为redis.lua。

命令：cd /usr/local/src

tar zxvf lua-resty-redis-0.26.tar.gz

cd /usr/local/src/lua-resty-redis-0.26/lib/resty

cp redis.lua /usr/local/nginx/redis.lua

Nginx+Lua+Redis配置

第一步，创建 Nginx 运行使用的用户nginx。

命令：useradd -s /sbin/nologin -M nginx

（ Nginx 服务的默认用户是 nobody ，为了安全更改为 nginx，在配置文件中启用user nginx nginx;）

第二步，修改nginx配置文件。

配置nginx.conf文件，/etc/nginx/nginx.conf内容如下：

user nginx nginx;  #配置用户或者组，默认为nobody nobody

worker_processes  4; #允许生成的进程数，默认为1

worker_cpu_affinity 0001 0010 0100 1000;

error_log  /var/log/nginx/error.log info; #日志位置和级别

pid      /var/run/nginx.pid; #指定nginx进程运行文件存放地址

worker_rlimit_nofile 102400; #最大连接数，默认为512

events {

      use epoll; #事件驱动模型

      worker_connections 102400; #最大连接数，默认为512

      accept_mutex off; #设置网路连接序列化，防止惊群现象发生，默认为on

      multi_accept on; #设置一个进程是否同时接受多个网络连接，默认为off

}

http

{

      include mime.types; #文件扩展名与文件类型映射表

      default_type application/octet-stream; #默认文件类型，默认为text/plain

      lua_package_path "/usr/local/nginx/redis.lua;;"; #添加

        ...

      server
    
      {

        listen 80;  #监听端口

        server_name localhost;  #域名,当前IP地址

        charset utf-8;  #编码改为utf-8

        location / {

            root   html;

            index  index.html index.htm;

         }

        ...

}

第三步，检查配置文件nginx.conf的正确性。

命令：/usr/sbin/nginx -t

若结果显示“nginx: [emerg] mkdir() "/var/tmp/nginx/client" failed (2: No such file or directory)  nginx: configuration file /etc/nginx/nginx.conf test failed”，则说明服务无法启动。可以使用命令“mkdir -p /var/tmp/nginx”创建目录，然后再次运行命令“/usr/sbin/nginx -t”就可以了。

若结果显示“nginx: configuration file /etc/nginx/nginx.conf test is successful”，则说明nginx安装和配置成功。

Nginx+Lua+Redis启动和访问站点

第一步，启动nginx。

命令：/usr/sbin/nginx

第二步，检查nginx是否已经启动。（查看是否有进程）

命令：ps -ef | grep nginx

若结果的第一行显示“nginx：master process”，nginx已经启动。

注意：nginx：master process后面有一个路径，这就是nginx的安装路径。

第三步，访问nginx站点。

在浏览器访问已经配置好的站点IP，如果页面显示“Welcome to nginx!”,则说明Nginx已经安装及配置好了。

第四步，关闭nginx。

命令：/usr/sbin/nginx -s stop

第五步，配置文件修改后，需要指定配置文件进行nginx重启。

如果nginx服务已经停止，那就需要把nginx服务启动。

命令：/usr/sbin/nginx -c /etc/nginx/nginx.conf

重启nginx服务必须是在nginx服务已经启动的情况下进行，因为这时，/var/run中存在nginx.pid文件。

命令：/usr/sbin/nginx -s reload

第六步，启动redis服务。

命令：systemctl start redis

若结果显示“Active: failed”，则需要把文件/usr/lib/systemd/system/redis.service中的“--daemonize no --supervised systemd”去掉，注释掉“Type=notify”，最后再次启动redis，服务状态为“Active: active (running)。

systemctl stop redis

systemctl restart redis

systemctl daemon-reload

# 设置开机自启动

命令：systemctl enable redis

# 查看服务状态是否为“Active: active (running)”

命令：systemctl status redis

ps -ef | grep redis

netstat -nap | grep  6379

# 服务端启动成功后，启动redis 客户端，查看端口号。

命令：redis-cli

set [key] [value]

get [key]

exit

netstat -nap | grep 6379

在Nginx中使用Lua脚本访问Redis

第一步，连接redis，然后添加一些测试参数。

命令：redis-cli

set "123" "456"

第二步，编写访问控制的Lua脚本。

在/usr/local/nginx/lua中新建脚本文件access.lua，在文件中写入下面的代码：

ip_bind_time = 600  --封禁IP时间

ip_time_out = 30    --指定ip访问频率时间段

connect_count = 20 --指定ip访问频率计数最大值

--连接redis

local redis = require "resty.redis"

local red = redis:new()

local ok, err = red:connect("127.0.0.1", 6379)

red:set_timeout(1000) -- 1 sec

--如果连接失败，跳转到脚本结尾

if not ok then

    goto A

end

--查询ip是否在封禁段内，若在则返回403错误代码

--因封禁时间会大于ip记录时间，故此处不对ip时间key和计数key做处理

is_bind, err = red:get("bind:"..ngx.var.remote_addr)

if is_bind == '1' then

    ngx.exit(403)

    goto A

end

--如果ip记录时间大于指定时间间隔或者记录时间或者不存在ip时间key则重置时间key和计数key

--如果ip时间key小于时间间隔，则ip计数+1，且如果ip计数大于ip频率计数，则设置ip的封禁key为1

--同时设置封禁key的过期时间为封禁ip的时间

start_time, err = red:get("time:"..ngx.var.remote_addr)

ip_count, err = red:get("count:"..ngx.var.remote_addr)

if start_time == ngx.null or os.time() - start_time > ip_time_out then

    res, err = red:set("time:"..ngx.var.remote_addr , os.time())

    res, err = red:set("count:"..ngx.var.remote_addr , 1)

else

    ip_count = ip_count + 1

    res, err = red:incr("count:"..ngx.var.remote_addr)

    if ip_count >= connect_count then

        res, err = red:set("bind:"..ngx.var.remote_addr, 1)

        res, err = red:expire("bind:"..ngx.var.remote_addr, ip_bind_time)

    end

end

-- 结束标记

::A::

local ok, err = red:close()

第三步，在/etc/nginx/nginx.conf中的http{}里面新添以下location。

location / {

        root   html;

        index  index.html index.htm;

}

location /lua {

        default_type text/plain;

        access_by_lua_file /usr/local/nginx/lua/access.lua;

        content_by_lua 'ngx.say("hello,lua!")';

}

location = /favicon.ico {

        log_not_found off;

        access_log off;

}

第四步，修改完nginx.conf后，重启nginx以及redis。

命令：service nginx restart

或    /usr/sbin/nginx -s reload

ps -ef | grep nginx

systemctl restart redis

ps -ef | grep redis

netstat -nap | grep  6379

第五步，访问x.x.x.x和x.x.x.x/lua,并一直按F5刷新。

# 连接redis

命令：redis-cli

127.0.0.1:6379> keys *

1）"count:115.148.157.35"

127.0.0.1:6379> get  "count:115.148.157.35"

"20"

# 删除单个key

127.0.0.1:6379> del "count:115.148.157.35"

# 删除所有的key

127.0.0.1:6379> flushall

发现redis已经在统计访问页面的访问次数。

这个key的过期时间是30秒,若30秒没有重复访问20次，则这个key就会消失。因此，正常用户一般不会触发这个封禁的脚本。

当30秒内访问页面超过20次，触发了封禁脚本,页面显示“403 Forbidden”时，连接redis结果显示"count:115.148.157.35"，那这个key的过期时间是300秒,即300秒内这个ip无法继续访问x.x.x.x和x.x.x.x/lua页面。

这个脚本的目的：若一个IP在30秒内访问页面超过20次，则表明该IP访问频率太快，因此将该IP封禁10分钟。同时由于在redis中，key的超时时间设置为30秒，所以若两次访问间隔时间大于30秒，则将会重新开始计数。

关机重启，nginx会自动启动

第一步，修改/etc/rc.d/rc.local文件。

在/etc/rc.d/rc.local文件最后一行下面另起一行添加下面的代码：

/usr/local/nginx/sbin/nginx

第二步，给予/etc/rc.d/rc.local权限。

命令：cd /etc/rc.d

chmod +x /etc/rc.d/rc.local

第三步，服务器重启后，查看nginx是否成功自动启动。

与“nginx启动和访问站点”中的第二步和第三步一样操作。

命令：shutdown -r now  或  reboot  或  init 6  #立刻重启

           shutdown -r 10     #过10分钟自动重启

不进入nginx根目录即可进行相应的操作

第一步，新建nginx启动脚本代码。

在文件夹/etc/init.d中新建名为nginx的文件，然后写入下面代码成为脚本文件。代码如下：

#!/bin/bash

NGINX=/usr/local/nginx/sbin/nginx

PID=/usr/local/nginx/logs/nginx.pid

##fun

START () {

pstree -p |grep nginx > /dev/null 2>&1

   if [ -f $PID ] && [ $? -eq 0 ]   then

             echo "Warnning: nginx already running"

   else

               if [ -f $PID ];then

                rm -rf $PID

                fi

     $NGINX

##stdin OK

      if [ $? -eq 0 ];then

         echo -e "nginx start\t\t\t\t [\033[32m OK \033[0m]"

      else

         echo -e "nginx start\t\t\t\t [\033[31m Fail \033[0m]"

             fi

   fi

}

STOP () {

pstree -p |grep nginx > /dev/null 2>&1

if [ -f $PID ] && [ $? -eq 0 ]   then

             killall -s QUIT nginx

#check

   if [ $? -eq 0 ];then

        echo -e "nginx stop\t\t\t\t [\033[32m OK \033[0m]"

         fi

   else

      rm -rf /usr/local/nginx/logs/nginx.pid > /dev/null 2>&1

        echo -e "nginx stop\t\t\t\t [\033[31m Fail \033[0m]"

   fi

}

RESTART () {

STOP;sleep 1;START

}

RELOAD () {

if [ -f $PID ] && [ $? -eq 0 ]   then

          killall -s HUP $NGINX

#reload check

if [ $? -eq 0 ];then

       echo -e "nginx reload\t\t\t\t [\033[32m OK \033[0m]"

       fi

else

       echo "Warnning: nginx stop,please start nginx"

fi

}

STATUS () {

elinks http://localhost -dump > /dev/null 2>&1

          if [ $? -eq 0 ];then

             echo "nginx running..."

          else

             echo "nging stop"

          fi

}

#main

case $1 in

start) START;;

stop) STOP;;

restart) RESTART;;

reload) RELOAD;;

status) STATUS;;

*) echo "USAGE: AVGE is start|stop|restart|reload|status";;

esac

第二步，给予/etc/init.d/nginx文件权限。

命令：chmod +x /etc/rc.d/init.d/nginx

# 设置开机自启

命令：chkconfig --add nginx

chkconfig nginx on

# 检查nginx命令

命令：service nginx

/etc/init.d/nginx: line 20: [: =: unary operator expected

Usage: nginx {start|stop|restart|reload|status|help}

第三步，检查一下脚本是否有用。

命令：/sbin/chkconfig nginx on

sudo /sbin/chkconfig --list nginx

如果结果显示“nginx 0:off 1:off 2:on 3:on 4:on 5:on 6:off”,则说明脚本文件有用。

第四步，nginx启动、关闭以及重启命令。

命令：ps -ef | grep nginx

systemctl start nginx

systemctl stop nginx

systemctl restart nginx

或

service nginx start

service nginx stop

service nginx restart