当前位置: 首页 > 编程笔记 >

解析Nginx中的日志模块及日志基本的初始化和过滤配置

司寇祖鹤
2023-03-14
本文向大家介绍解析Nginx中的日志模块及日志基本的初始化和过滤配置,包括了解析Nginx中的日志模块及日志基本的初始化和过滤配置的使用技巧和注意事项,需要的朋友参考一下

无论在任何项目中,日志都是一个非常重要的模块,无论是问题定位还是日常信息的管理,都离不开他

在nginx中,ngx_errlog_module模块专门用于处理nginx日志信息,是nginx的core模块之一

在 main 函数中,时间初始化结束后马上进行的就是日志模块的初始化

日志结构:
日志模块的初始化主要做的事情就是初始化全局变量 ngx_log,并创建 errlog 文件

ngx_log_s 结构
ngx_log 变量是一个 ngx_log_s 结构体,定义在 core/ngx_log.h 文件中,结构如下:

// struct ngx_log_s
// 日志结构 {{{
struct ngx_log_s {
 ngx_uint_t   log_level;  // 日志等级
 ngx_open_file_t  *file;   // 日志文件信息
 ngx_atomic_uint_t connection; // 引用该日志对象的连接数
 ngx_log_handler_pt handler;  // 输出日志时需要调用的回调函数
 void    *data;   // 回调函数所需要的参数
 ngx_log_writer_pt writer;
 void    *wdata;
 /*
  * we declare "action" as "char *" because the actions are usually
  * the static strings and in the "u_char *" case we have to override
  * their types all the time
  */
 char    *action;  // 日志记录前,保存当前正在进行的动作
 ngx_log_t   *next;   // 指向下一日志对象
}; // }}}

日志级别
nginx 中日志共分为9个级别:

#define NGX_LOG_STDERR   0
#define NGX_LOG_EMERG    1
#define NGX_LOG_ALERT    2
#define NGX_LOG_CRIT    3
#define NGX_LOG_ERR    4
#define NGX_LOG_WARN    5
#define NGX_LOG_NOTICE   6
#define NGX_LOG_INFO    7
#define NGX_LOG_DEBUG    8

 
ngx_open_file_s 结构
其中,日志的文件描述结构如下:

// struct ngx_open_file_s
// 打开文件结构 {{{
struct ngx_open_file_s {
 ngx_fd_t    fd;
 ngx_str_t    name;
 void    (*flush)(ngx_open_file_t *file, ngx_log_t *log);
   // 文件刷新时调用的回调
 void     *data; // 回调函数使用的参数
}; // }}}
所有文件相关的数据结构和操作都在 core/ngx_conf_file.h 和 core/ngx_conf_file.c 文件中

日志初始化过程
日志相关的初始化操作都在 core/ngx_log.c 文件中,现在我们调用的是其中的初始化函数:

// ngx_log_t *ngx_log_init(u_char *prefix);
// 初始化 ngx_log 结构,创建 errlog 文件 {{{
ngx_log_t *
ngx_log_init(u_char *prefix)
{
 u_char *p, *name;
 size_t nlen, plen;

 ngx_log.file = &ngx_log_file;
 ngx_log.log_level = NGX_LOG_NOTICE;

 name = (u_char *) NGX_ERROR_LOG_PATH;

 /*
  * we use ngx_strlen() here since BCC warns about
  * condition is always false and unreachable code
  */

 nlen = ngx_strlen(name);

 if (nlen == 0) {
  ngx_log_file.fd = ngx_stderr;
  return &ngx_log;
 }

 p = NULL;

 // 判断是否是绝对路径
#if (NGX_WIN32)
 if (name[1] != ':') {
#else
 if (name[0] != '/') {
#endif

  if (prefix) {
   plen = ngx_strlen(prefix);

  } else {
#ifdef NGX_PREFIX
   prefix = (u_char *) NGX_PREFIX;
   plen = ngx_strlen(prefix);
#else
   plen = 0;
#endif
  }

  if (plen) {
   name = malloc(plen + nlen + 2);
   if (name == NULL) {
    return NULL;
   }

   p = ngx_cpymem(name, prefix, plen);

   if (!ngx_path_separator(*(p - 1))) {
    *p++ = '/';
   }

   ngx_cpystrn(p, (u_char *) NGX_ERROR_LOG_PATH, nlen + 1);

   p = name;
  }
 }

 ngx_log_file.fd = ngx_open_file(name, NGX_FILE_APPEND,
         NGX_FILE_CREATE_OR_OPEN,
         NGX_FILE_DEFAULT_ACCESS);

 if (ngx_log_file.fd == NGX_INVALID_FILE) {
  ngx_log_stderr(ngx_errno,
      "[alert] could not open error log file: "
      ngx_open_file_n " \"%s\" failed", name);
#if (NGX_WIN32)
  ngx_event_log(ngx_errno,
      "could not open error log file: "
      ngx_open_file_n " \"%s\" failed", name);
#endif

  ngx_log_file.fd = ngx_stderr;
 }

 if (p) {
  ngx_free(p);
 }

 return &ngx_log;
}
// }}}

这个初始化过程非常容易理解,之后其他的日志操作也都在这个文件中,我们遇到之后再进行详细讲解

函数执行后,返回 ngx_log 结构的地址

ngx_log 结构取值如下:

{
 log_level = 6, 
 file = 0x80e3000 <ngx_log_file>, 
 connection = 0, 
 handler = 0x0, 
 data = 0x0, 
 writer = 0x0, 
 wdata = 0x0, 
 action = 0x0, 
 next = 0x0
}

file 字段取值:

{
 fd = 3, 
 name = {
 len = 0, 
 data = 0x0
 }, 
 flush = 0x0, 
 data = 0x0
}

使用ngx_log_if不记录特定日志
第一步:
先到Github下载ngx_log_if地址https://github.com/cfsego/ngx_log_if/
第二步:
安装第三方模块到Nginx。第三方模块的安装可以参考http://wiki.nginx.org/3rdPartyModules 使用--add-module添加解压后的ngx_log_if如下

./configure --add-module=/var/local/ngx_log_if-master

然后再编译安装Nginx即可。
第三步:
配置access_log_bypass_if到nginx.conf配置文件中

server {
 location / {
  access_log_bypass_if ($status = 404); #不记录404状态的所有日志信息
  access_log_bypass_if ($uri ~* 'images'); #不记录uri中所有images目录下文件的日志信息
  access_log_bypass_if ($uri = '/index.html'); #不记录uri为/index.html的日志信息
 access_log_bypass_if ($host ~* 'tonv.cc'); #不记录host为tonv.cc的所有日志信息
 }
}

重启Nginx即可过滤不显示特定的日志了

 类似资料:
  • 主要内容:1. 设置错误日志,2. 设置访问日志,3. 启用条件日志记录,4. 日志记录到Syslog本节介绍如何在NGINX中配置日志记录错误和处理的请求。在本文章中将涉及以下内容 - 设置错误日志 设置访问日志 启用条件日志记录 日志记录到Syslog 1. 设置错误日志 NGINX将遇到的不同严重性级别问题的信息写入错误日志。 指令将日志记录设置为特定文件,或,并指定要记录的消息的最低级别。 默认情况下,错误日志位于(绝对路径取决于操作系统和安装),并记录来自所指定的所有严重级别的消息。

  • 本文向大家介绍python logging日志模块以及多进程日志详解,包括了python logging日志模块以及多进程日志详解的使用技巧和注意事项,需要的朋友参考一下 本篇文章主要对 python logging 的介绍加深理解。更主要是 讨论在多进程环境下如何使用logging 来输出日志, 如何安全地切分日志文件。 1. logging日志模块介绍 python的logging模块提供了灵

  • 本文向大家介绍Python解析nginx日志文件,包括了Python解析nginx日志文件的使用技巧和注意事项,需要的朋友参考一下 项目的一个需求是解析nginx的日志文件。 简单的整理如下: 日志规则描述 首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式: 其中一条真实记录样例如下: 其中,客户端型号信息用XXXXXXX代替。 项目中已经按照业务规则对Nginx日志文件进行了

  • 问题内容: 我是ELK堆栈的新手。我有一个文件拍服务,将日志发送到logstash,并在logstash中使用过滤器,将数据推送到索引。 我正在使用筛选器来解析数据。 我的问题是,我希望将字段名称及其值存储在elasticsearch索引中。我的日志的不同版本如下: 我想要的弹性索引字段如下: client_ip => type必须与kibana用于IP映射的内容兼容。 时间戳=>日期时间格式。=

  • 本文向大家介绍python logging日志模块的详解,包括了python logging日志模块的详解的使用技巧和注意事项,需要的朋友参考一下 python logging日志模块的详解 日志级别 日志格式说明 日志输出 有两种方式记录跟踪,一种输出控制台,另一种是记录到文件中,如日志文件。 将日志输出到控制台 在a.py写入以下信息 【解析】 通过logging.basicConfig函数对

  • 主要内容:1. 概述,2. LogFactory,3. Log1. 概述 无论在开发测试环境中,还是在线上生产环境中,日志在整个系统中的地位都是非常重要的。良好的日志功能可以帮助开发人员和测试人员快速定位 Bug 代码,也可以帮助运维人员快速定位性能瓶颈等问题。目前的 Java 世界中存在很多优秀的日志框架,例如 Log4j、 Log4j2、Slf4j 等。 MyBatis 作为一个设计优良的框架,除了提供详细的日志输出信息,还要能够集成多种日志框架,其日志