指标方面的全能型选手 Telegraf

Telegraf 是 InfluxData 公司开源的一款采集器，内置非常多的采集插件，不过 Telegraf 是面向 InfluxDB 生态的，采集的监控数据推给 InfluxDB 非常合适，推给 Prometheus、Victoriametrics、Thanos 这些时序库，可能会带来问题。主要是两点：

  • 有些数据是 string 类型的，Prometheus、VM、M3、Thanos 等都不支持 string 类型的数据
  • 有些采集器设计的标签是非稳态的设计，比如经常会看到 result=success 和 result=failed 的标签，需要手工配置采集器 drop 掉，但是对于新手确实有些难度

另外一个问题是，Telegraf 采集的数据存到 Prometheus 中，这种做法在业界实践的比较少，导致 Grafana 大盘很少，需要我们付出较大精力手工制作大盘。不过，如果，你是资深监控玩家，Telegraf 上面这些问题都不是问题。下面是笔者之前调研 Telegraf 的几篇笔记，供大家参考：

Telegraf 是如何与 Nightingale 整合的呢？Telegraf 有不同的 output plugin，可以把采集的数据推给 OpenTSDB、推给 Datadog，Nightingale 实现了 OpenTSDB 和 Datadog 这两种消息接收接口，所以，可以通过任一 output plugin 和 Nightingale 对接。下面提供一个简单的 Telegraf 配置供大家参考，使用 OpenTSDB 的 output plugin 和 Nightingale 对接，即 [[outputs.opentsdb]] 配置段，host 部分配置为 n9e 的地址：

  1. #!/bin/sh
  3. version=1.20.4
  4. tarball=telegraf-${version}_linux_amd64.tar.gz
  5. wget https://dl.influxdata.com/telegraf/releases/$tarball
  6. tar xzvf $tarball
  8. mkdir -p /opt/telegraf
  9. cp -far telegraf-${version}/usr/bin/telegraf /opt/telegraf
  11. cat <<EOF > /opt/telegraf/telegraf.conf
  12. [global_tags]
  14. [agent]
  15.   interval = "10s"
  16.   round_interval = true
  17.   metric_batch_size = 1000
  18.   metric_buffer_limit = 10000
  19.   collection_jitter = "0s"
  20.   flush_interval = "10s"
  21.   flush_jitter = "0s"
  22.   precision = ""
  23.   hostname = ""
  24.   omit_hostname = false
  26. [[outputs.opentsdb]]
  27.   host = "http://127.0.0.1"
  28.   port = 17000
  29.   http_batch_size = 50
  30.   http_path = "/opentsdb/put"
  31.   debug = false
  32.   separator = "_"
  34. [[inputs.cpu]]
  35.   percpu = true
  36.   totalcpu = true
  37.   collect_cpu_time = false
  38.   report_active = true
  40. [[inputs.disk]]
  41.   ignore_fs = ["tmpfs", "devtmpfs", "devfs", "iso9660", "overlay", "aufs", "squashfs"]
  43. [[inputs.diskio]]
  45. [[inputs.kernel]]
  47. [[inputs.mem]]
  49. [[inputs.processes]]
  51. [[inputs.system]]
  52.   fielddrop = ["uptime_format"]
  54. [[inputs.net]]
  55.   ignore_protocol_stats = true
  57. EOF
  59. cat <<EOF > /etc/systemd/system/telegraf.service
  60. [Unit]
  61. Description="telegraf"
  62. After=network.target
  64. [Service]
  65. Type=simple
  67. ExecStart=/opt/telegraf/telegraf --config telegraf.conf
  68. WorkingDirectory=/opt/telegraf
  70. SuccessExitStatus=0
  71. LimitNOFILE=65535
  72. StandardOutput=syslog
  73. StandardError=syslog
  74. SyslogIdentifier=telegraf
  75. KillMode=process
  76. KillSignal=SIGQUIT
  77. TimeoutStopSec=5
  78. Restart=always
  81. [Install]
  82. WantedBy=multi-user.target
  83. EOF
  85. systemctl daemon-reload
  86. systemctl enable telegraf
  87. systemctl restart telegraf
  88. systemctl status telegraf

注意，不要用 telegraf 采集 nginx vts 之类的带有 host 标签的指标，因为 telegraf 自身有个 host 标签来标识本机 hostname，二者会冲突。当然，你可以在采集这类指标的时候把默认的 host 标签忽略掉，但是在夜莺侧无法分辨，最终导致机器列表里写入一些脏数据。