splunk-hec-logging

摘要

定义

splunk-hec-logging 插件用于将 Apache APISIX 的请求日志转发到 Splunk HTTP 事件收集器（HEC） 中进行分析和存储，启用该插件后 Apache APISIX 将在 Log Phase 获取请求上下文信息并序列化为 Splunk Event Data 格式 后提交到批处理队列中，当触发批处理队列每批次最大处理容量或刷新缓冲区的最大时间时会将队列中的数据提交到 Splunk HEC 中。

有关 Apache APISIX 的 Batch-Processor 的更多信息，请参考： Batch-Processor

属性列表

名称是否必需默认值描述
endpoint必选Splunk HEC 端点配置信息
endpoint.uri必选Splunk HEC 事件收集API
endpoint.token必选Splunk HEC 身份令牌
endpoint.channel可选Splunk HEC 发送渠道标识，参考：About HTTP Event Collector Indexer Acknowledgment
endpoint.timeout可选10Splunk HEC 数据提交超时时间（以秒为单位）
ssl_verify可选true启用 SSL 验证, 参考：OpenResty文档
max_retry_count可选0从处理管道中移除之前的最大重试次数
retry_delay可选1如果执行失败，流程执行应延迟的秒数
buffer_duration可选60必须先处理批次中最旧条目的最大期限（以秒为单位）
inactive_timeout可选5刷新缓冲区的最大时间（以秒为单位）
batch_max_size可选1000每个批处理队列可容纳的最大条目数

如何开启

下面例子展示了如何为指定路由开启 splunk-hec-logging 插件。

完整配置

  1. curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
  2. {
  3.     "plugins":{
  4.         "splunk-hec-logging":{
  5.             "endpoint":{
  6.                 "uri":"http://127.0.0.1:8088/services/collector",
  7.                 "token":"BD274822-96AA-4DA6-90EC-18940FB2414C",
  8.                 "channel":"FE0ECFAD-13D5-401B-847D-77833BD77131",
  9.                 "timeout":60
  10.             },
  11.             "buffer_duration":60,
  12.             "max_retry_count":0,
  13.             "retry_delay":1,
  14.             "inactive_timeout":2,
  15.             "batch_max_size":10
  16.         }
  17.     },
  18.     "upstream":{
  19.         "type":"roundrobin",
  20.         "nodes":{
  21.             "127.0.0.1:1980":1
  22.         }
  23.     },
  24.     "uri":"/splunk.do"
  25. }'

最小化配置

  1. curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
  2. {
  3.     "plugins":{
  4.         "splunk-hec-logging":{
  5.             "endpoint":{
  6.                 "uri":"http://127.0.0.1:8088/services/collector",
  7.                 "token":"BD274822-96AA-4DA6-90EC-18940FB2414C"
  8.             }
  9.         }
  10.     },
  11.     "upstream":{
  12.         "type":"roundrobin",
  13.         "nodes":{
  14.             "127.0.0.1:1980":1
  15.         }
  16.     },
  17.     "uri":"/splunk.do"
  18. }'

测试插件

  • 向配置 splunk-hec-logging 插件的路由发送请求
  1. $ curl -i http://127.0.0.1:9080/splunk.do?q=hello
  2. HTTP/1.1 200 OK
  3. ...
  4. hello, world
  • 登录Splunk控制台检索查看日志

splunk hec search view

禁用插件

禁用 splunk-hec-logging 插件非常简单，只需将 splunk-hec-logging 对应的 JSON 配置移除即可。

  1. $ curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
  2. {
  3.     "uri": "/hello",
  4.     "plugins": {},
  5.     "upstream": {
  6.         "type": "roundrobin",
  7.         "nodes": {
  8.             "127.0.0.1:1980": 1
  9.         }
  10.     }
  11. }'