日志输出

你如何测试和调试你的代码呢?Lua 的两个主力作者是这样回复的:

Luiz Henrique de Figueiredo:我主要是一块一块的构建,分块测试。我很少使用调试器。即使用调试器,也只是调试 C 代码。我从不用调试器调试 Lua 代码。对于 Lua 来说,在适当的位置放几条打印语句通常就可以胜任了。

Roberto Ierusalimschy:我差不多也是这样。当我使用调试器时,通常只是用来查找代码在哪里崩溃了。对于 C 代码,有个像 Valgrind 或者 Purify 这样的工具是必要的。

摘自《编程之魂 — 采访 Lua 发明人的一篇文章》。

由此可见掌握日志输出是多么重要,下至入门同学,上至 Lua 作者,使用日志输出来确定问题,是很必要的基本手段。

标准日志输出

OpenResty 的标准日志输出原句为 ngx.log(log_level, ...) ,几乎可以在任何 ngx_lua 阶段进行日志的输出。

请看下面的示例:

  1. #user nobody;
  2. worker_processes 1;
  3. error_log logs/error.log error; # 日志级别
  4. #pid logs/nginx.pid;
  5. events {
  6. worker_connections 1024;
  7. }
  8. http {
  9. server {
  10. listen 80;
  11. location / {
  12. content_by_lua_block {
  13. local num = 55
  14. local str = "string"
  15. local obj
  16. ngx.log(ngx.ERR, "num:", num)
  17. ngx.log(ngx.INFO, " string:", str)
  18. print([[i am print]])
  19. ngx.log(ngx.ERR, " object:", obj)
  20. }
  21. }
  22. }
  23. }

访问网页,生成日志(logs/error.log 文件)结果如下:

  1. 2016/01/22 16:43:34 [error] 61610#0: *10 [lua] content_by_lua(nginx.conf:26):5:
  2. num:55, client: 127.0.0.1, server: , request: "GET /hello HTTP/1.1",
  3. host: "127.0.0.1"
  4. 2016/01/22 16:43:34 [error] 61610#0: *10 [lua] content_by_lua(nginx.conf:26):7:
  5. object:nil, client: 127.0.0.1, server: , request: "GET /hello HTTP/1.1",
  6. host: "127.0.0.1"

大家可以在单行日志中获取很多有用的信息,例如:时间、日志级别、请求ID、错误代码位置、内容、客户端 IP 、请求参数等等,这些信息都是环境信息,可以用来辅助完成更多其他操作。当然我们也可以根据自己需要定义日志格式,具体可以参考 Nginx 的 log_format 章节。

细心的读者发现了,中间的两行日志哪里去了?这里不卖关子,其实是 日志输出级别 的原因。上面的例子,日志输出级别使用的 error,只有 等于或大于 这个级别的日志才会输出。 这里还有一个知识点就是 OpenResty 里面的 print 语句是 NOTICE 级别。

有关 Nginx 的日志级别,请看下表:

  1. ngx.STDERR -- 标准输出
  2. ngx.EMERG -- 紧急报错
  3. ngx.ALERT -- 报警
  4. ngx.CRIT -- 严重,系统故障,触发运维告警系统
  5. ngx.ERR -- 错误,业务不可恢复性错误
  6. ngx.WARN -- 告警,业务中可忽略错误
  7. ngx.NOTICE -- 提醒,业务比较重要信息
  8. ngx.INFO -- 信息,业务琐碎日志信息,包含不同情况判断等
  9. ngx.DEBUG -- 调试

他们是一些常量,越往上等级越高。读者朋友可以尝试把 error log 日志级别修改为 info,然后重新执行一下测试用例,就可以看到全部日志输出结果了。

对于应用开发,一般使用 ngx.INFO 到 ngx.CRIT 就够了。生产中错误日志开启到 error 级别就够了。如何正确使用这些级别呢?不同的人、不同的公司可能会有不同的见解。

网络日志输出

如果你的日志需要归集,并且对时效性要求比较高,那么这里要推荐的库可能就让你很喜欢了。 lua-resty-logger-socket ,可以说很好地解决了上面提及的几个特性需求问题。

lua-resty-logger-socket 的目标是替代 Nginx 标准的 ngx_http_log_module非阻塞 IO 方式 推送 access log 到远程服务器上。对远程服务器的要求是支持 syslog-ng 的日志服务。

引用官方示例:

  1. lua_package_path "/path/to/lua-resty-logger-socket/lib/?.lua;;";
  2. server {
  3. location / {
  4. log_by_lua_block {
  5. local logger = require("resty.logger.socket")
  6. if not logger.initted() then
  7. local ok, err = logger.init{
  8. host = 'xxx',
  9. port = 1234,
  10. flush_limit = 1234,
  11. drop_limit = 5678,
  12. }
  13. if not ok then
  14. ngx.log(ngx.ERR, "failed to initialize the logger: ", err)
  15. return
  16. end
  17. end
  18. -- construct the custom access log message in
  19. -- the Lua variable "msg"
  20. local bytes, err = logger.log(msg)
  21. if err then
  22. ngx.log(ngx.ERR, "failed to log message: ", err)
  23. return
  24. end
  25. }
  26. }
  27. }

列举几个好处:

  • 基于 cosocket 非阻塞 IO 实现
  • 日志累计到一定量,集体提交,提高网络传输利用率
  • 短时间的网络抖动,自动容错
  • 日志累计到一定量,如果没有传输完毕,直接丢弃
  • 日志传输过程完全不落地,没有任何磁盘 IO 消耗