Heka

heka 是 Mozilla 公司仿造 logstash 设计，用 Golang 重写的一个开源项目。同样采用了input -> decoder -> filter -> encoder -> output 的流程概念。其特点在于，在中间的 decoder/filter/encoder 部分，设计了 sandbox 概念，可以采用内嵌 lua 脚本做这一部分的工作，降低了全程使用静态 Golang 编写的难度。此外，其 filter 阶段还提供了一些监控和统计报警功能。

官网地址见：http://hekad.readthedocs.org/

下面是同样的处理逻辑，通过 syslog 接收 nginx 访问日志，解析并存储进 Elasticsearch，heka 配置文件如下：

  1. [hekad]
  2. maxprocs = 48
  4. [TcpInput]
  5. address = ":514"
  6. parser_type = "token"
  7. decoder = "shipped-nginx-decoder"
  9. [shipped-nginx-decoder]
  10. type = "MultiDecoder"
  11. subs = ['RsyslogDecoder', 'nginx-access-decoder']
  12. cascade_strategy = "all"
  13. log_sub_errors = true
  15. [RsyslogDecoder]
  16. type = "SandboxDecoder"
  17. filename = "lua_decoders/rsyslog.lua"
  18.     [RsyslogDecoder.config]
  19.     type = "nginx.access"
  20.     template = '<%pri%>%TIMESTAMP% %HOSTNAME% %syslogtag%%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n'
  21.     tz = "Asia/Shanghai"
  23. [nginx-access-decoder]
  24. type = "SandboxDecoder"
  25. filename = "lua_decoders/nginx_access.lua"
  27.     [nginx-access-decoder.config]
  28.     type = "combined"
  29.     user_agent_transform = true
  30.     log_format = '[$time_local]`$http_x_up_calling_line_id`"$request"`"$http_user_agent"`$staTus`[$remote_addr]`$http_x_log_uid`"$http_referer"`$request_time`$body_bytes_sent`$http_x_forwarded_proto`$http_x_forwarded_for`$request_uid`$http_host`$http_cookie`$upstream_response_time'
  32. [ESLogstashV0Encoder]
  33. es_index_from_timestamp = true
  34. fields = ["Timestamp", "Payload", "Hostname", "Fields"]
  35. type_name = "%{Type}"
  37. [ElasticSearchOutput]
  38. message_matcher = "Type == 'nginx.access'"
  39. server = "http://eshost.example.com:9200"
  40. encoder = "ESLogstashV0Encoder"
  41. flush_interval = 50
  42. flush_count = 5000

heka 目前仿造的还是旧版本的 logstash schema 设计，所有切分字段都存储在 @fields 下。

经测试，其处理性能跟开启了多线程 filters 的 logstash 进程类似，都在每秒 30000 条。