Logstash 的 监控 API

Logstash 5.0 开始，提供了输出自身进程的指标和状态监控的 API。这大大降低了我们监控 Logstash 的难度。

目前 API 主要有四类：

  • 节点信息
  • 插件信息
  • 节点指标
  • 热线程统计

节点信息

node info 接口目前支持三种类型：pipeline、os、jvm。没什么要紧的。

插件信息

用来列出已安装插件的名称和版本。

节点指标

node stats 接口目前支持四种类型的指标：

events

获取该指标的方式为：

  1. curl -s localhost:9600/_node/stats/events?pretty=true

是的，Logstash 跟 Elasticsearch 一样也支持用 ?pretty 参数美化 JSON 输出。此外，还支持 ?format=yaml 来输出 YAML 格式的指标统计。Logstash 默认监听在 9600 端口提供这些 API 访问。如果需要修改，通过 --http.port 命令行参数，或者对应的 logstash.yml 设置修改。

该指标的响应结果示例如下：

  1. {
  2.     "events" : {
  3.         "in" : 59685,
  4.         "filtered" : 59685,
  5.         "out" : 59685
  6.     }
  7. }

jvm

获取该指标的方式为：

  1. curl -s localhost:9600/_node/stats/jvm?pretty=true

该指标的响应结果示例如下：

  1. {
  2.     "jvm" : {
  3.         "threads" : {
  4.             "count" : 32,
  5.             "peak_count" : 34
  6.         }
  7.     }
  8. }

process

获取该指标的方式为：

  1. curl -s localhost:9600/_node/stats/process?pretty=true

该指标的响应结果示例如下：

  1. {
  2.     "process" : {
  3.             "peak_open_file_descriptors" : 64,
  4.             "max_file_descriptors" : 10240,
  5.             "open_file_descriptors" : 64,
  6.         "mem" : {
  7.             "total_virtual_in_bytes" : 5278068736
  8.         },
  9.         "cpu" : {
  10.             "total_in_millis" : 103290097000,
  11.             "percent" : 0
  12.         }
  13.     }
  14. }

目前 beats 家族有个 logstashbeat 项目，就是专门采集这个数据的。

pipeline

获取该指标的方式为：

  1. curl -s localhost:9600/_node/stats/pipeline?pretty=true

该指标的响应结果示例如下：

  1. {
  2.     "pipeline": {
  3.         "events": {
  4.             "duration_in_millis": 7863504,
  5.             "in": 100,
  6.             "filtered": 100,
  7.             "out": 100
  8.         },
  9.         "plugins": {
  10.             "inputs": [],
  11.             "filters": [
  12.                 {
  13.                     "id": "grok_20e5cb7f7c9e712ef9750edf94aefb465e3e361b-2",
  14.                     "events": {
  15.                         "duration_in_millis": 48,
  16.                         "in": 100,
  17.                         "out": 100
  18.                     },
  19.                     "matches": 100,
  20.                     "patterns_per_field": {
  21.                         "message": 1
  22.                     },
  23.                     "name": "grok"
  24.                 },
  25.                 {
  26.                     "id": "geoip_20e5cb7f7c9e712ef9750edf94aefb465e3e361b-3",
  27.                     "events": {
  28.                         "duration_in_millis": 141,
  29.                         "in": 100,
  30.                         "out": 100
  31.                     },
  32.                     "name": "geoip"
  33.                 }
  34.             ],
  35.             "outputs": [
  36.                 {
  37.                     "id": "20e5cb7f7c9e712ef9750edf94aefb465e3e361b-4",
  38.                     "events": {
  39.                         "in": 100,
  40.                         "out": 100
  41.                     },
  42.                     "name": "elasticsearch"
  43.                 }
  44.             ]
  45.         },
  46.         "reloads": {
  47.             "last_error": null,
  48.             "successes": 0,
  49.             "last_success_timestamp": null,
  50.             "last_failure_timestamp": null,
  51.             "failures": 0
  52.         }
  53.     }
  54. }

可以看到它这里显示了每个插件的日志处理情况(数量、耗时等)，尤其是 grok 过滤器插件，还显示出来了正则匹配失败的数量、每个字段匹配的正则表达式个数等很有用的排障和性能调优信息。

热线程统计

上面的指标值可能比较适合的是长期趋势的监控，在排障的时候，更需要的是即时的线程情况统计。获取方式如下：

  1. curl -s localhost:9600/_node/stats/hot_threads?human=true

该接口默认返回也是 JSON 格式，在看堆栈的时候并不方便，可以用 ?human=true 参数来改成文本换行的样式。效果上跟我们看 Elasticsearch 的 /_nodes/_local/hot_threads 效果就一样了。

其实节点指标 API 也有 ?human=true 参数，其作用和 hot_threads 不一样，是把一些网络字节数啊，时间啊，改成人类更易懂的大单位。