《配置》专题
-
output配置 - exec
outputs/exec 插件的运用也非常简单，如下所示，将 logstash 切割成的内容作为参数传递给命令。这样，在每个事件到达该插件的时候，都会触发这个命令的执行。 output { exec { command => "sendsms.pl "%{message}" -t %{user}" } } 需要注意的是。这种方式是每次都重新开始执行一次命令并退出。本
-
output配置 - email
配置示例 output { email { to => "admin@website.com,root@website.com" cc => "other@website.com" via => "smtp" subject => "Warning: %{title}" options => {
-
output配置 - elasticsearch
Logstash 可以使用不同的协议实现完成将数据写入 Elasticsearch 的工作。在不同时期，也有不同的插件实现方式。本节以最新版为准，即主要介绍 HTTP 方式。同时也附带一些原有的 node 和 transport 方式的介绍。 配置示例 output { elasticsearch { hosts => ["192.168.0.2:9200"]
-
filter配置 - elapsed
filter { grok { match => ["message", "%{TIMESTAMP_ISO8601} START id: (?<task_id>.*)"] add_tag => [ "taskStarted" ] } grok { match => ["message", "%{TIMESTAMP_ISO8601} END id: (?<task
-
filter配置 - split
上一章我们通过 multiline 插件将多行数据合并进一个事件里，那么反过来，也可以把一行数据，拆分成多个事件。这就是 split 插件。 配置示例 filter { split { field => "message" terminator => "#" } } 运行结果 这个测试中，我们在 intputs/stdin 的终端中输入一行数据：”t
-
filter配置 - ruby
如果你稍微懂那么一点点 Ruby 语法的话，filters/ruby 插件将会是一个非常有用的工具。 比如你需要稍微修改一下 LogStash::Event 对象，但是又不打算为此写一个完整的插件，用 filters/ruby 插件绝对感觉良好。 配置示例 filter { ruby { init => "@kname = ['client','servername','u
-
filter配置 - mutate
filters/mutate 插件是 Logstash 另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换，字符串处理和字段处理等。 类型转换 类型转换是 filters/mutate 插件最初诞生时的唯一功能。其应用场景在之前 Codec/JSON 小节已经提到。 可以设置的转换类型包括：”integer”，”float” 和 “string”。示例如下： filter {
-
filter配置 - metrics
filters/metrics 插件是使用 Ruby 的 Metriks 模块来实现在内存里实时的计数和采样分析。该模块支持两个类型的数值分析：meter 和 timer。下面分别举例说明： Meter 示例(速率阈值检测) web 访问日志的异常状态码频率是运维人员会非常关心的一个数据。通常我们的做法，是通过 logstash 或者其他日志分析脚本，把计数发送到 rrdtool 或者 graph
-
filter配置 - kv
在很多情况下，日志内容本身都是一个类似于 key-value 的格式，但是格式具体的样式却是多种多样的。logstash 提供 filters/kv 插件，帮助处理不同样式的 key-value 日志，变成实际的 LogStash::Event 数据。 配置示例 filter { ruby { init => "@kname = ['method','uri','verb'
-
filter配置 - json
在上一章，已经讲过在 codec 中使用 JSON 编码。但是，有些日志可能是一种复合的数据结构，其中只是一部分记录是 JSON 格式的。这时候，我们依然需要在 filter 阶段，单独启用 JSON 解码插件。 配置示例 filter { json { source => "message" target => "jsoncontent" } }
-
filter配置 - geoip
GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有用。 配置示例 filter { geoip { source => "message" } } 运行结果 { "message" => "183.60.92.253",
-
filter配置 - dissect
grok 作为 Logstash 最广为人知的插件，在性能和资源损耗方面同样也广为诟病。为了应对这个情况，同时也考虑到大多数时候，日志格式并没有那么复杂，Logstash 开发团队在 5.0 版新添加了另一个解析字段的插件：dissect。 当日志格式有比较简明的分隔标志位，而且重复性较大的时候，我们可以使用 dissect 插件更快的完成解析工作。下面是解析 syslog 的示例： 示例 fil
-
filter配置 - grok
Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式，在稍后(grok参数或者其他正则表达式里)引用它。 正则表达式语法 运维工程师多多少少都会一点正则。你可以在 grok 里写标准的正则，像下面这样： s+(?<request_time>d+(?:.d+)?)s+ 小贴士：这个正则表达式写法对于 Perl 或者 Ruby 程序员应该很熟悉了，Python 程
-
filter配置 - date
之前章节已经提过，filters/date 插件可以用来转换你的日志记录中的时间字符串，变成 LogStash::Timestamp 对象，然后转存到 @timestamp 字段里。 注意：因为在稍后的 outputs/elasticsearch 中常用的 %{+YYYY.MM.dd} 这种写法必须读取 @timestamp 数据，所以一定不要直接删掉这个字段保留自己的字段，而是应该用 filte
-
codec配置 - netflow
input { udp { port => 9995 codec => netflow { definitions => "/home/administrator/logstash-1.4.2/lib/logstash/codecs/netflow/netflow.yaml" versions => [5] } }