collectd简述

本节作者：crazw

collectd 是一个守护(daemon)进程，用来收集系统性能和提供各种存储方式来存储不同值的机制。它会在系统运行和存储信息时周期性的统计系统的相关统计信息。利用这些信息有助于查找当前系统性能瓶颈（如作为性能分析 performance analysis）和预测系统未来的 load（如能力部署capacity planning）等

下面简单介绍一下: collectd的部署以及与logstash对接的相关配置实例

collectd的安装

软件仓库安装(推荐)

collectd官方有一个的软件仓库: https://pkg.ci.collectd.org ，构建有RHEL/CentOS(rpm)，Debian/Ubuntu(deb)的软件包，如果你使用的操作系统属于上述，那么推荐使用软件仓库安装。

目前collectd官方维护3个版本: 5.4, 5.5, 5.6。根据需要选择合适的版本。

Debian/Ubuntu仓库安装(示例中使用5.5版本):

  1. echo "deb http://pkg.ci.collectd.org/deb $(lsb_release -sc) collectd-5.5" | sudo tee /etc/apt/sources.list.d/collectd.list
  2. curl -s https://pkg.ci.collectd.org/pubkey.asc | sudo apt-key add -
  3. sudo apt-get update && sudo apt-get install -y collectd

NOTE: Debian/Ubuntu软件仓库自带有collectd软件包，如果软件仓库自带的版本足够你使用，那么可以不用添加仓库，直接通过apt-get install collectd即可。

RHEL/CentOS仓库安装(示例中使用5.5版本):

  1. cat > /etc/yum.repos.d/collectd.repo <<EOF
  2. [collectd-5.5]
  3. name=collectd-5.5
  4. baseurl=http://pkg.ci.collectd.org/rpm/collectd-5.5/epel-\$releasever-\$basearch/
  5. gpgcheck=1
  6. gpgkey=http://pkg.ci.collectd.org/pubkey.asc
  7. EOF
  9. yum install -y collectd
  10. # 其他collectd插件需要安装对应的collectd-xxxx软件包

源码安装collectd

  1. # collectd目前维护3个版本, 5.4, 5.5, 5.6。根据自己需要选择版本
  2. wget http://collectd.org/files/collectd-5.4.1.tar.gz
  3. tar zxvf collectd-5.4.1.tar.gz
  4. cd collectd-5.4.1
  5. ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var --libdir=/usr/lib --mandir=/usr/share/man --enable-all-plugins
  6. make && make install

解决依赖(RH系列):

  1. rpm -ivh "http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm"
  2. yum -y install libcurl libcurl-devel rrdtool rrdtool-devel perl-rrdtool rrdtool-perl libgcrypt-devel gcc make gcc-c++ liboping liboping-devel perl-CPAN net-snmp net-snmp-devel

安装启动脚本

  1. cp contrib/redhat/init.d-collectd /etc/init.d/collectd
  2. chmod +x /etc/init.d/collectd

启动collectd

  1. service collectd start

collectd的配置

以下配置可以实现对服务器基本的CPU、内存、网卡流量、磁盘 IO 以及磁盘空间占用情况的监控:

  1. Hostname "host.example.com"
  2. LoadPlugin interface
  3. LoadPlugin cpu
  4. LoadPlugin memory
  5. LoadPlugin network
  6. LoadPlugin df
  7. LoadPlugin disk
  8. <Plugin interface>
  9.     Interface "eth0"
  10.     IgnoreSelected false
  11. </Plugin>
  12. <Plugin network>
  13.     # logstash 的 IP 地址和 collectd 的数据接收端口号>
  14.     # 如果logstash和collectd在同一台主机上也可以用环回地址127.0.0.1
  15.     <Server "10.0.0.1" "25826">
  16.     </Server>
  17. </Plugin>

logstash的配置

以下配置实现通过 logstash 监听 25826 端口，接收从 collectd 发送过来的各项检测数据。

logstash默认自带有collectd的codec插件，详见官方文档: https://www.elastic.co/guide/en/logstash/current/plugins-codecs-collectd.html

示例：

  1. input {
  2.     udp {
  3.         port => 25826
  4.         buffer_size => 1452
  5.         workers => 3          # Default is 2
  6.         queue_size => 30000   # Default is 2000
  7.         codec => collectd { }
  8.         type => "collectd"
  9.     }
  10. }

运行结果

下面是简单的一个输出结果：

  1. {
  2.   "_index": "logstash-2014.12.11",
  3.   "_type": "collectd",
  4.   "_id": "dS6vVz4aRtK5xS86kwjZnw",
  5.   "_score": null,
  6.   "_source": {
  7.     "host": "host.example.com",
  8.     "@timestamp": "2014-12-11T06:28:52.118Z",
  9.     "plugin": "interface",
  10.     "plugin_instance": "eth0",
  11.     "collectd_type": "if_packets",
  12.     "rx": 19147144,
  13.     "tx": 3608629,
  14.     "@version": "1",
  15.     "type": "collectd",
  16.     "tags": [
  17.       "_grokparsefailure"
  18.     ]
  19.   },
  20.   "sort": [
  21.     1418279332118
  22.   ]
  23. }

参考资料