无论在任何项目中,日志都是一个非常重要的模块,无论是问题定位还是日常信息的管理,都离不开他
在nginx中,ngx_errlog_module模块专门用于处理nginx日志信息,是nginx的core模块之一
在 main 函数中,时间初始化结束后马上进行的就是日志模块的初始化
日志结构:
日志模块的初始化主要做的事情就是初始化全局变量 ngx_log,并创建 errlog 文件
ngx_log_s 结构
ngx_log 变量是一个 ngx_log_s 结构体,定义在 core/ngx_log.h 文件中,结构如下:
// struct ngx_log_s // 日志结构 {{{ struct ngx_log_s { ngx_uint_t log_level; // 日志等级 ngx_open_file_t *file; // 日志文件信息 ngx_atomic_uint_t connection; // 引用该日志对象的连接数 ngx_log_handler_pt handler; // 输出日志时需要调用的回调函数 void *data; // 回调函数所需要的参数 ngx_log_writer_pt writer; void *wdata; /* * we declare "action" as "char *" because the actions are usually * the static strings and in the "u_char *" case we have to override * their types all the time */ char *action; // 日志记录前,保存当前正在进行的动作 ngx_log_t *next; // 指向下一日志对象 }; // }}}
日志级别
nginx 中日志共分为9个级别:
#define NGX_LOG_STDERR 0 #define NGX_LOG_EMERG 1 #define NGX_LOG_ALERT 2 #define NGX_LOG_CRIT 3 #define NGX_LOG_ERR 4 #define NGX_LOG_WARN 5 #define NGX_LOG_NOTICE 6 #define NGX_LOG_INFO 7 #define NGX_LOG_DEBUG 8
ngx_open_file_s 结构
其中,日志的文件描述结构如下:
// struct ngx_open_file_s // 打开文件结构 {{{ struct ngx_open_file_s { ngx_fd_t fd; ngx_str_t name; void (*flush)(ngx_open_file_t *file, ngx_log_t *log); // 文件刷新时调用的回调 void *data; // 回调函数使用的参数 }; // }}}所有文件相关的数据结构和操作都在 core/ngx_conf_file.h 和 core/ngx_conf_file.c 文件中
日志初始化过程
日志相关的初始化操作都在 core/ngx_log.c 文件中,现在我们调用的是其中的初始化函数:
// ngx_log_t *ngx_log_init(u_char *prefix); // 初始化 ngx_log 结构,创建 errlog 文件 {{{ ngx_log_t * ngx_log_init(u_char *prefix) { u_char *p, *name; size_t nlen, plen; ngx_log.file = &ngx_log_file; ngx_log.log_level = NGX_LOG_NOTICE; name = (u_char *) NGX_ERROR_LOG_PATH; /* * we use ngx_strlen() here since BCC warns about * condition is always false and unreachable code */ nlen = ngx_strlen(name); if (nlen == 0) { ngx_log_file.fd = ngx_stderr; return &ngx_log; } p = NULL; // 判断是否是绝对路径 #if (NGX_WIN32) if (name[1] != ':') { #else if (name[0] != '/') { #endif if (prefix) { plen = ngx_strlen(prefix); } else { #ifdef NGX_PREFIX prefix = (u_char *) NGX_PREFIX; plen = ngx_strlen(prefix); #else plen = 0; #endif } if (plen) { name = malloc(plen + nlen + 2); if (name == NULL) { return NULL; } p = ngx_cpymem(name, prefix, plen); if (!ngx_path_separator(*(p - 1))) { *p++ = '/'; } ngx_cpystrn(p, (u_char *) NGX_ERROR_LOG_PATH, nlen + 1); p = name; } } ngx_log_file.fd = ngx_open_file(name, NGX_FILE_APPEND, NGX_FILE_CREATE_OR_OPEN, NGX_FILE_DEFAULT_ACCESS); if (ngx_log_file.fd == NGX_INVALID_FILE) { ngx_log_stderr(ngx_errno, "[alert] could not open error log file: " ngx_open_file_n " \"%s\" failed", name); #if (NGX_WIN32) ngx_event_log(ngx_errno, "could not open error log file: " ngx_open_file_n " \"%s\" failed", name); #endif ngx_log_file.fd = ngx_stderr; } if (p) { ngx_free(p); } return &ngx_log; } // }}}
这个初始化过程非常容易理解,之后其他的日志操作也都在这个文件中,我们遇到之后再进行详细讲解
函数执行后,返回 ngx_log 结构的地址
ngx_log 结构取值如下:
{ log_level = 6, file = 0x80e3000 <ngx_log_file>, connection = 0, handler = 0x0, data = 0x0, writer = 0x0, wdata = 0x0, action = 0x0, next = 0x0 }
file 字段取值:
{ fd = 3, name = { len = 0, data = 0x0 }, flush = 0x0, data = 0x0 }
使用ngx_log_if不记录特定日志
第一步:
先到Github下载ngx_log_if地址https://github.com/cfsego/ngx_log_if/
第二步:
安装第三方模块到Nginx。第三方模块的安装可以参考http://wiki.nginx.org/3rdPartyModules 使用--add-module添加解压后的ngx_log_if如下
./configure --add-module=/var/local/ngx_log_if-master
然后再编译安装Nginx即可。
第三步:
配置access_log_bypass_if到nginx.conf配置文件中
server { location / { access_log_bypass_if ($status = 404); #不记录404状态的所有日志信息 access_log_bypass_if ($uri ~* 'images'); #不记录uri中所有images目录下文件的日志信息 access_log_bypass_if ($uri = '/index.html'); #不记录uri为/index.html的日志信息 access_log_bypass_if ($host ~* 'tonv.cc'); #不记录host为tonv.cc的所有日志信息 } }
重启Nginx即可过滤不显示特定的日志了
主要内容:1. 设置错误日志,2. 设置访问日志,3. 启用条件日志记录,4. 日志记录到Syslog本节介绍如何在NGINX中配置日志记录错误和处理的请求。在本文章中将涉及以下内容 - 设置错误日志 设置访问日志 启用条件日志记录 日志记录到Syslog 1. 设置错误日志 NGINX将遇到的不同严重性级别问题的信息写入错误日志。 指令将日志记录设置为特定文件,或,并指定要记录的消息的最低级别。 默认情况下,错误日志位于(绝对路径取决于操作系统和安装),并记录来自所指定的所有严重级别的消息。
本文向大家介绍python logging日志模块以及多进程日志详解,包括了python logging日志模块以及多进程日志详解的使用技巧和注意事项,需要的朋友参考一下 本篇文章主要对 python logging 的介绍加深理解。更主要是 讨论在多进程环境下如何使用logging 来输出日志, 如何安全地切分日志文件。 1. logging日志模块介绍 python的logging模块提供了灵
本文向大家介绍Python解析nginx日志文件,包括了Python解析nginx日志文件的使用技巧和注意事项,需要的朋友参考一下 项目的一个需求是解析nginx的日志文件。 简单的整理如下: 日志规则描述 首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式: 其中一条真实记录样例如下: 其中,客户端型号信息用XXXXXXX代替。 项目中已经按照业务规则对Nginx日志文件进行了
问题内容: 我是ELK堆栈的新手。我有一个文件拍服务,将日志发送到logstash,并在logstash中使用过滤器,将数据推送到索引。 我正在使用筛选器来解析数据。 我的问题是,我希望将字段名称及其值存储在elasticsearch索引中。我的日志的不同版本如下: 我想要的弹性索引字段如下: client_ip => type必须与kibana用于IP映射的内容兼容。 时间戳=>日期时间格式。=
本文向大家介绍python logging日志模块的详解,包括了python logging日志模块的详解的使用技巧和注意事项,需要的朋友参考一下 python logging日志模块的详解 日志级别 日志格式说明 日志输出 有两种方式记录跟踪,一种输出控制台,另一种是记录到文件中,如日志文件。 将日志输出到控制台 在a.py写入以下信息 【解析】 通过logging.basicConfig函数对
主要内容:1. 概述,2. LogFactory,3. Log1. 概述 无论在开发测试环境中,还是在线上生产环境中,日志在整个系统中的地位都是非常重要的。良好的日志功能可以帮助开发人员和测试人员快速定位 Bug 代码,也可以帮助运维人员快速定位性能瓶颈等问题。目前的 Java 世界中存在很多优秀的日志框架,例如 Log4j、 Log4j2、Slf4j 等。 MyBatis 作为一个设计优良的框架,除了提供详细的日志输出信息,还要能够集成多种日志框架,其日志