sls-logger

描述

sls-logger 是使用 RF5424 标准将日志数据以 JSON 格式发送到 阿里云日志服务。

该插件提供了将 Log Data 作为批处理推送到阿里云日志服务器的功能。如果您没有收到日志数据，请放心一些时间，它会在我们的批处理处理器中的计时器功能到期后自动发送日志。

有关 Apache APISIX 中 Batch-Processor 的更多信息，请参考： Batch-Processor

属性

属性名称必选项描述
host必要的TCP 服务的 IP 地址或主机名，请参考：阿里云日志服务列表，建议配置 IP 取代配置域名。
port必要的目标端口，阿里云日志服务默认端口为 10009。
timeout可选的发送数据超时间。
log_format可选的以 JSON 格式的键值对来声明日志格式。对于值部分，仅支持字符串。如果是以 $ 开头，则表明是要获取 APISIX 变量 或 NGINX 内置变量。
project必要的日志服务 Project 名称，请提前在阿里云日志服务中创建 Project。
logstore必须的日志服务 Logstore 名称，请提前在阿里云日志服务中创建 Logstore。
access_key_id必须的AccessKey ID。建议使用阿里云子账号 AK，详情请参见 授权。
access_key_secret必须的AccessKey Secret。建议使用阿里云子账号 AK，详情请参见 授权。
include_req_body可选的是否包含请求体。
include_req_body_expr可选的当 include_req_body 属性设置为 true 时的过滤器。只有当此处设置的表达式求值为 true 时，才会记录请求体。有关更多信息，请参阅 lua-resty-expr 。
include_resp_body可选的当设置为 true 时，日志中将包含响应体。
include_resp_body_expr可选的当 include_resp_body 属性设置为 true 时进行过滤响应体，并且只有当此处设置的表达式计算结果为 true 时，才会记录响应体。更多信息，请参考 lua-resty-expr。
name可选的批处理名字。如果您使用 Prometheus 监视 APISIX 指标，名称将以 apisix_batch_process_entries 导出。

注意：schema 中还定义了 encrypt_fields = {"access_key_secret"}，这意味着该字段将会被加密存储在 etcd 中。具体参考 加密存储字段。

本插件支持使用批处理器来聚合并批量处理条目（日志/数据）。这样可以避免插件频繁地提交数据，默认设置情况下批处理器会每 5 秒钟或队列中的数据达到 1000 条时提交数据，如需了解或自定义批处理器相关参数设置，请参考 Batch-Processor 配置部分。

默认日志格式示例

  1. {
  2.     "route_conf": {
  3.         "host": "100.100.99.135",
  4.         "buffer_duration": 60,
  5.         "timeout": 30000,
  6.         "include_req_body": false,
  7.         "logstore": "your_logstore",
  8.         "log_format": {
  9.             "vip": "$remote_addr"
  10.         },
  11.         "project": "your_project",
  12.         "inactive_timeout": 5,
  13.         "access_key_id": "your_access_key_id",
  14.         "access_key_secret": "your_access_key_secret",
  15.         "batch_max_size": 1000,
  16.         "max_retry_count": 0,
  17.         "retry_delay": 1,
  18.         "port": 10009,
  19.         "name": "sls-logger"
  20.     },
  21.     "data": "<46>1 2024-01-06T03:29:56.457Z localhost apisix 28063 - [logservice project=\"your_project\" logstore=\"your_logstore\" access-key-id=\"your_access_key_id\" access-key-secret=\"your_access_key_secret\"] {\"vip\":\"127.0.0.1\",\"route_id\":\"1\"}\n"
  22. }

插件元数据设置

名称类型必选项默认值有效值描述
log_formatobject可选以 JSON 格式的键值对来声明日志格式。对于值部分，仅支持字符串。如果是以 $ 开头，则表明是要获取 APISIX 变量 或 Nginx 内置变量。特别的，该设置是全局生效的，意味着指定 log_format 后，将对所有绑定 sls-logger 的 Route 或 Service 生效。

设置日志格式示例

sls-logger - 图1note

您可以这样从 config.yaml 中获取 admin_key 并存入环境变量：

  1. admin_key=$(yq '.deployment.admin.admin_key[0].key' conf/config.yaml | sed 's/"//g')
  1. curl http://127.0.0.1:9180/apisix/admin/plugin_metadata/sls-logger -H "X-API-KEY: $admin_key" -X PUT -d '
  2. {
  3.     "log_format": {
  4.         "host": "$host",
  5.         "@timestamp": "$time_iso8601",
  6.         "client_ip": "$remote_addr"
  7.     }
  8. }'

在日志收集处，将得到类似下面的日志：

  1. {"host":"localhost","@timestamp":"2020-09-23T19:05:05-04:00","client_ip":"127.0.0.1","route_id":"1"}
  2. {"host":"localhost","@timestamp":"2020-09-23T19:05:05-04:00","client_ip":"127.0.0.1","route_id":"1"}

如何开启

  1. 下面例子展示了如何为指定路由开启 sls-logger 插件的。
  1. curl http://127.0.0.1:9180/apisix/admin/routes/5 -H "X-API-KEY: $admin_key" -X PUT -d '
  2. {
  3.     "plugins": {
  4.         "sls-logger": {
  5.             "host": "100.100.99.135",
  6.             "port": 10009,
  7.             "project": "your_project",
  8.             "logstore": "your_logstore",
  9.             "access_key_id": "your_access_key_id",
  10.             "access_key_secret": "your_access_key_secret",
  11.             "timeout": 30000
  12.         }
  13.     },
  14.     "upstream": {
  15.         "type": "roundrobin",
  16.         "nodes": {
  17.             "127.0.0.1:1980": 1
  18.         }
  19.     },
  20.     "uri": "/hello"
  21. }'
  1. 注释：这里的 100.100.99.135 是阿里云华北 3 内外地址。

测试插件

  • 成功的情况：
  1. $ curl -i http://127.0.0.1:9080/hello
  2. HTTP/1.1 200 OK
  3. ...
  4. hello, world

  • 查看阿里云日志服务上传记录

    sls logger view

删除插件

想要禁用“sls-logger”插件，是非常简单的，将对应的插件配置从 json 配置删除，就会立即生效，不需要重新启动服务：

  1. $ curl http://127.0.0.1:9180/apisix/admin/routes/1 -H "X-API-KEY: $admin_key" -X PUT -d '
  2. {
  3.     "uri": "/hello",
  4.     "plugins": {},
  5.     "upstream": {
  6.         "type": "roundrobin",
  7.         "nodes": {
  8.             "127.0.0.1:1980": 1
  9.         }
  10.     }
  11. }'