日志系统

简介

不同于行为日志，日志系统可以记录你的程序在运行时的所有信息。在一个项目的开发阶段，控制台会显示明了的请求以及报错信息，使用IDE来debug也非常方便，但是到了生产环境，出于安全起见我们必须关闭掉debug模式，当我们的程序发生问题时(要知道在生产环境下也会产生意想不到的bug)，如果没有记录日志，我们就很难定位到错误发生的位置和错误的具体信息，想修复这些线上产生的未知错误就变得非常困难。日志系统主要依赖于python标准库的logging类实现。Lin自定义了日志记录方式、分割方式和格式。这可以让开发者更明了地查看日志信息。当然，如果你不喜欢Lin的日志处理方式，可以实现自己的日志处理类，按照自己的想法和业务情况记录日志。关于自定义日志类我们会在后面探讨。

配置

日志系统拥有自己的配置，和文件上传系统相同，日志系统配置文件也是一个单独的python模块，需要在启动app的时候注册到app上。配置文件的存放位置为app/config/log.py，我们根据下面的配置代码了解一下每个配置项的含义。

  1. LOG = {
  2.     'LEVEL': 'DEBUG',               # 日志级别
  3.     'DIR': 'logs',                  # 存放目录名
  4.     'SIZE_LIMIT': 1024 * 1024 * 5,  # 切分大小
  5.     'REQUEST_LOG': True,            # 是否开启请求日志
  6.     'FILE': True                    # 是否开启日志
  7. }

在上面的代码中，我们已经给出了每一项配置对应的注释。下面我们来详细介绍每一项配置：

  • LEVEL 为日志级别，当该配置项为DEBUG时，日志会记录客户端的请求参数，当该配置项为INFO时，日志不会记录客户端的详细参数。
  • DIR 为日志存放目录名称，采用文件的形式来记录日志，默认存放在项目根目录的logs目录下
  • SIZE_LIMIT 为日志切分大小，在当天的日志文件大小达到切分标准时，会对日志进行切分，旧的日志以 yyyy-mm-dd-hh-mm-ss.log 的形式命名。而新的日志继续以 yyyy-mm-dd.log 命名。
  • REQUEST_LOG 配置项为一个布尔值，表示是否开启请求日志，请求日志即客户端发起request请求的时候，会记录详细的信息，如客户端请求了管理员登录接口，日志文件中就会记录如下配置：
  1. 2019-06-16 21:19:51,879 DEBUG 63566   ---  [Thread-2] - [POST] -> [/cms/user/login] from:127.0.0.1 costs:149.200 ms data:{
  2.     param: {},   # url parameters
  3.     body: {'nickname': 'super', 'password': '123456'}  # body parameters
  4. }

当设置REQUEST_LOG为False时，系统不会记录任何请求信息。

  • FILE 配置项同样为布尔值，由于日志系统默认采用文件方式进行记录，当访问量非常庞大时，大量的文件IO操作会消耗系统性能，这时你可以设置FILE配置项为False来关闭文件日志，使用自己的方式去记录日志。当然，通常对于一个中小型项目你可以不必多虑，采用此方式记录日志系统也不会有问题。

使用

默认使用

Lin默认已经开启了日志的记录，当你的程序在生产环境产生错误时，核心库的全局异常处理方法会记录这些错误的堆栈信息，例如：

  1. # 业务层的一个视图函数中产生了一个除零异常。此时模拟线上环境：app.debug = False
  2. @app.route("/log", methods=['POST'])
  3. def index():
  4.     1 / 0
  5.     return 'ok'

使用postman请求得到数据是这样的：

  1. {
  2.     "error_code": 999,
  3.     "msg": "服务器未知错误",
  4.     "request": "POST  /log"
  5. }

显然，我们无法通过这样的信息来定位错误，此时日志文件的作用就体现出来了，打开当天的日志文件，你会发现日志文件中新增了两条数据，第一条为错误的堆栈信息，错误级别为ERROR，第二条为请求的具体信息，错误级别为DEBUG，你可以通过分析日志来排查错误。当然，也可以使用tail -f ${日志文件名}来追踪日志文件，下面为具体日志信息：

  1. 2019-06-19 21:49:54,628 ERROR 44939   ---  [Thread-1] - Traceback (most recent call last):
  2.   File "/Users/fujiale/.local/share/virtualenvs/Lin-CMS-Flask-Core-PK22Bmbq/lib/python3.6/site-packages/flask/app.py", line 1813, in full_dispatch_request
  3.     rv = self.dispatch_request()
  4.   File "/Users/fujiale/.local/share/virtualenvs/Lin-CMS-Flask-Core-PK22Bmbq/lib/python3.6/site-packages/flask/app.py", line 1799, in dispatch_request
  5.     return self.view_functions[rule.endpoint](**req.view_args)
  6.   File "/Users/fujiale/Desktop/flask-api/Lin-CMS-Flask-Core/starter.py", line 144, in index
  7.     1 / 0
  8. ZeroDivisionError: division by zero
  9. 2019-06-19 21:49:54,660 DEBUG 44939   ---  [Thread-1] - [POST] -> [/log] from:127.0.0.1 costs:34.990 ms data:{
  10.     param: {}, 
  11.     body: {}
  12. }

自定义使用

Lin已经在内部记录了异常日志，如果用户想在自己的业务代码中记录日志，可以直接使用flask框架为我们提供的日志记录方式日志系统 - 图1来记录日志，即app.logger.错误级别()的方式来在任何位置记录。下面我们看一下示例代码：

  1. @app.route("/log", methods=['POST'])
  2. def index():’
  3.     # app.logger.info('info msg')
  4.     # app.logger.warning('warning msg')
  5.     # app.logger.debug('debug msg')
  6.     try:
  7.         1 / 0
  8.     except Exception as e:
  9.         app.logger.error("发生了除零异常")
  10.     return 'ok'

再次查看日志文件，可以看到新增了两条信息：

  1. 2019-06-19 22:00:42,679 ERROR 45462   ---  [Thread-1] - 发生了除零异常
  2. 2019-06-19 22:00:42,680 DEBUG 45462   ---  [Thread-1] - [POST] -> [/log] from:127.0.0.1 costs:0.710 ms data:{
  3.     param: {}, 
  4.     body: {}
  5. }

TIP

在上面的示例中，我们使用app.logger.error()来记录了error级别的日志，这里常用的错误级别还有：app.logger.info()、app.logger.warning()、app.logger.debug()等等。在我们自己记录日志的时候，一定要选择合适的错误级别，不能随便使用。

自定义日志类

在简介中我们提到了如果开发者觉得Lin的日志记录方式不适用于自己的业务场景，可以自定义自己的日志类，本小结我们来看一看如何自定义自己的日志类，首先，我们先来关闭Lin的日志，找到app/app.py的create_app方法，实例化Lin的时候将logger设置为False：

  1.  Lin(app, logger=False)

此时，你就可以实现自己的日志类并且使用到项目当中了。当然，具体的实现方法不一，在标准库logging.handlers模块下，定义了各种方式的记录日志类，可以参考或者直接使用这个模块下面的日志处理类。