Syslog-ng

下一代系统日志工具
授权协议 GPL
开发语言 C/C++
所属分类 程序开发、 日志工具(Logging)
软件类型 开源软件
地区 不详
投 递 者 锺离珂
操作系统 Linux
开源组织
适用人群 未知
 软件概览

syslog-ng的一个设计原则就是建立更好的消息过滤粒度。syslog-ng能够进行基于内容和优先权/facility的过滤。另一个设计原则是更容易进行不同防火墙网段的信息转发,它支持主机链,即使日志消息经过了许多计算机的转发,也可以找出原发主机地址和整个转发链。最后的一个设计原则就是尽量使配置文件强大和简洁。

快速开始

最简单的配置从/ dev / log(从应用程序或systemd转发)接受系统日志,并将所有内容写入单个文件:

@version: 3.28
@include "scl.conf"

log {
	source { system(); };
	destination { file("/var/log/syslog"); };
};

这另外处理来自网络的日志(默认情况下为TCP / 514):

@version: 3.28
@include "scl.conf"

log {
	source {
		system();
		network();
	};
	destination { file("/var/log/syslog"); };
};

此配置设计用于结构化/应用程序日志记录,通过JSON使用本地提交,并以key = value格式输出:

@version: 3.28
@include "scl.conf"

log {
	source { system(); };
	destination { file("/var/log/app.log" template("$(format-welf --subkeys .cim.)\n")); };
};

要使用提交结构化日志logger,您可以运行:

$ logger '@cim: {"name1":"value1", "name2":"value2"}'

在这种情况下,结果消息将是:

name1=value1 name2=value2

有关配置syslog-ng应用程序的简短介绍,请参见快速入门指南

特征

  • 接收和发送RFC3164 和RFC5424样式的系统日志消息
  • 接收和发送JSON格式的消息
  • 处理任何类型的非结构化数据
  • 使用内置解析器(csv-parser(),db-parser(),kv-parser()等)对日志进行分类和结构化
  • 在日志流过系统时对其进行规范化,处理和处理
  • 使用文件,消息队列(例如AMQP)或数据库(例如 PostgreSQL或 MongoDB)来移交日志以进行进一步处理
  • 将日志转发到大数据工具(例如Elasticsearch, Apache Kafka或 Apache Hadoop

性能

  • syslog-ng在单个节点上运行时可提供与大型群集相当的性能水平
  • 在最简单的用例中,它每秒可扩展至600-800k条消息
  • 但是分类,解析和过滤仍然每秒产生数万条消息
  •    一台服务器的日志对系统工程师来说是至关重要的,一旦服务器出现故障或被***,我们需要查看日志来定位问题的关键所在,所以说对于线上跑的服务器而言日志应该合理的处理及管理.下面来介绍下linux系统的syslog日志服务器. 一.syslog详解 1,syslog简介 syslog 系统日志,记录linux系统启动及运行的过程中产生的信息,rhel5.x系统上默认自带了syslog 其配置文件是

  •     日志管理模块作为软件系统的一个重要子模块,其记录着系统运行的有关信息。当系统故障时,日志是用于问题定位的必备信息。所以,一个设计良好的日志模块及其重要,在Linux系统上往往用syslog(rsyslogd及klogd程序)来管理系统的日志。本文介绍的syslog-ng是syslog的next generation,具有比syslog更强大的功能和性能,优势在以下几个方面: 兼容syslo

  • syslog-ng配置 绚丽也尘埃 » syslog-ng配置 syslog-ng配置 March 13th, 2012 绚丽也尘埃 Leave a comment Go to comments   syslog-ng的配置非常简单直观,于是乎配置好看看怎么用它实时收集日志。有两台服务器,一台服务器盯着error_log文件,一旦发现其有新数据,立即将日志发到另一台收集服务器。 client服务器

  • 这网络上,找了非常多现成的教程,发现都用不了。所以通过时间和教程整合,就有了这篇文档。 该文档配置文件比较复杂,但是也很完整。强烈建议仔细阅读该配置文件。 不然的话,就算你照着本篇文档操作成功。也不会自定义修改配置文件。 好,正文开始. 一台服务器的日志对系统工程师来说是至关重要的,一旦服务器出现故障或被入侵,我们需要查看日志来定位问题的关键所在,所以说对于线上跑的服务器而言日志应该合理的处理及管

  • 最近的一个sendcloud项目中需要使用到syslog-ng收集日志。 原理是多台生产机部署不同的模块,包括nodeJs、java等等,各个生产机根据一定的规则产生日志。 一般我们的生产机redhat默认采用syslogd记录日志,可以使用syslogd将日志通过网络发送到指定的日志收集机器,统一分析。 这台日志收集机器安装的就是syslog-ng,下面讲解一下syslog-ng的安装和配置步骤

  • 安装完syslog-ng后,就是如何使用的问题了。在https://syslog-ng.org 上可以下载syslog-ng的说明文档syslog-ng-ose-guide-admin.pdf,文档中介绍了syslog-ng的用法,很详细。下面介绍下如何使用syslog-ng。 安装目录结构介绍 在syslog-ng安装目录下,文件夹及作用如下:  bin 存放一些用于测试syslog-ng的工具

  • nginx目前的日志存储方式是通过syslog发送到日志服务器,日志服务器上使用的程序是syslog-ng。 配置文件路径:/etc/syslog-ng/syslog-ng.conf // options是日志的一些基本选项 options {         flush_lines (0);         time_reopen (10);         log_fifo_size (102

  • syslog-ng基础 http://tsecer.blog.163.com/blog/static/15018172012615114243736/ 一、syslog 通常对于前台任务来说,可以方面的将自己想表达的意思通过printf打印到标准输出之上,但是后台任务是不食人间烟火的,它在创建的开始执行了一些比较极端的动作来保持自己的先进性,例如通过fork+exit来欺骗父进程完成标准终端的释放

  • 概述 syslog-ng常用于接收交换机、LINUX SERVER等程序发出的log信息。 安装 yum install syslog-ng 本文安装的是syslog-ng-3.0.5 配置 /etc/syslog-ng/syslog-ng.conf // 在最后加上: #aliswich syslog #定义一个source,表示哪里是log的源,下面的为不限IP,接收 514 端口报文。 so

  • 导读 Syslog-ng (syslog-Next generation) 是syslog的升级版,syslog-ng有两个版本,一个是收费的,一个是开源的,那么作为syslog的下一代产品,功能是可想而知,肯定比syslog的功能强大的多,如高性能,可靠的传输,支持多平台,高可靠性,众多的用户群体,强大的日志过滤及排序,事件标签和关联性,支持最新的IETF标准。 syslog-ng替代syslo

  • 前言,分三部分 一、syslog协议介绍 二、syslog函数 三、linux syslog配置 一、syslog协议介绍 1、介绍 在Unix类操作系统上,syslog广泛应用于系统日志。syslog日志消息既可以记录在本地文件中,也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备的syslog消息进行统一的存储,或者解析其中的内容做相应的处理。常见的应用场景是

  • 一台服务器的日志对系统工程师来说是至关重要的,一旦服务器出现故障或被入侵,我们需要查看日志来定位问题的关键所在,所以说对于线上跑的服务器而言日志应该合理的处理及管理.下面来介绍下linux系统的syslog日志服务器. 一.syslog详解 1,syslog简介 syslog 系统日志,记录linux系统启动及运行的过程中产生的信息,rhel5.x系统上默认自带了syslog 其配置文件是/etc

  • 转载一篇syslog-ng的文章的,本来是想打算自己写一篇的,看到这篇文章写的很详细,就转载过来吧。后面我再补充一下 先说说自己对syslog-ng的理解:用于集中日志管理,可以对日志进行筛选过滤。   原文地址:[url]http://www.linuxfly.org/read.php?171[/url]   前面详细介绍了sysklog套件的配置和使用。但毕竟该套件已经比较老了,很多功能都不够

  •       1)下载syslog-ng可执行文件 syslog-ng-3.2.5-linux-glibc2.3.6-amd64.run        2)安装syslog-ng:              chmod +x syslog-ng-3.2.5-linux-glibc2.3.6-amd64.run              ./syslog-ng-3.2.5-linux-glibc2.3

  • syslog-ng是一个系统服务,发送到Unix domain socket ( /dev/log) 或者UDP 514端口 或者 /etc/services中定义的syslog/udp 端口的信息都会被syslog-ng收到。这些信息要符合<sys/syslog.h>中定义的格式, syslog-ng的配置文件为 /etc/syslogng/syslog-ng.conf       logrot

  •   # # Configuration file for syslog-ng under Debian # # attempts at reproducing default syslog behavior # the standard syslog levels are (in descending order of priority): # emerg alert crit err warni

  • @version: 3.2 # We need the above to avoid HOLY CRAP ERROR OUTPUT # # File:         /etc/syslog-ng/syslog-ng.conf # Title:        Syslog-NG Main Configuration File # System:       Ishikawa # Version: 

 相关资料
  • 作为最核心的模块之一, Nutz的日志信息已经相当完善,看懂Nutz的日志,也是了解Nutz工作方式的核心途径之一.

  • THE LOGGING SYSTEM 对于任何 Linux 用户,了解日志文件的使用是非常重要的。日志文件存储关于操作系统和应用程序运行时发生的事件的信息,包括任何错误和安全警报。您的系统将根据我将在本章中介绍的一系列规则自动记录信息。 作为黑客,日志文件可以跟踪目标的活动和身份。但是它也可以是你自己在别人系统上的活动的踪迹。因此,黑客需要知道他们可以收集什么信息,以及可以收集关于他们自己的行为和

  • 系统日志文件概述 文件 描述 /var/log/messages 大多数系统日志消息记录在此处。例外是与身份验证、电子邮件处理相关的定期运行作业的消息以及调试相关的消息。 /var/log/secure 安全和身份验证相关的消息和错误的日志文件。 /var/log/maillog 与邮件服务器相关的消息的日志文件。 /var/log/cron 与定期执行任务相关的日志文件。 /var/log/bo

  • easySwoole提供了分类日志服务,以供记录运行信息方便调试。 $log = Logger::getInstance(); $log2 = Logger::getInstance('logcategory1'); log $log->log('message1'); $log2->log('message2'); console $log->console("message",false);

  • 上节课和大家介绍了 Kubernetes 集群中的几种日志收集方案,Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana(EFK)技术栈,也是官方现在比较推荐的一种方案。 Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大量日志数据,也可用于搜索许多不同类型的文档。 El

  • 本文向大家介绍Android 日志系统Logger源代码详细介绍,包括了Android 日志系统Logger源代码详细介绍的使用技巧和注意事项,需要的朋友参考一下  我们知道,在Android系统中,提供了一个轻量级的日志系统,这个日志系统是以驱动程序的形式实现在内核空间的,而在用户空间分别提供了Java接口和C/C++接口来使用这个日志系统,取决于你编写的是Android应用程序还是系统组件。在