容器日志收集与处理 — Kubernetes 容器云平台日志分析案例

在 nginx 日志分析搭建案例中大家已经明白如何通过 Pandora 快速搭建实时监控与报警平台的整个过程。除了 nginx 这类常见基础组件之外，您可能本身有一些自研的程序，也需要做相应的日志收集处理工作，那么操作方法与之类似，只是日志的解析方式不同而已。但是如果您的程序运行在容器云（如 Kubernetes）之上，那么该如何处理呢？

本文将以 Kubernetes 容器云平台运维 和 Kubernetes 容器云用户 两个视角，为您介绍如何使用 logkit 进行日志收集。

Kubernetes容器云平台运维视角

作为 Kubernetes 容器云平台的运维，想要收集日志非常简单，因为 Kubernetes 已经将日志统一存放在 /var/log/containers/ 文件夹下，如下图所示：

此处输入图片的描述

对于每一个日志，都是一个软连接，连接到实际的日志文件。对于此类日志，使用 logkit 的文件读取模式 (tailx) 即可直接读取，接入方式如下。

1. 根据您机器的操作系统版本下载logkit

https://github.com/qiniu/logkit/wiki/Download

解压后您可以看到

  1. logkit
  2. logkit.conf
  3. public/
  4. confs/

其中 logkit.conf 为主配置文件，用于配置 logkit 的 web 页面及端口配置，其中

  • bind_host 是设置绑定的端口，启动后可以根据这个页面配置 logkit。
  • static_root_path 是 logkit 页面的静态资源路径，就是填写 public 文件夹所在路径，强烈建议写成 绝对路径

2. 运行 logkit

  1. nohup ./logkit -f logkit.conf > logkit.log 2>&1

3. 访问 logkit 配置页面

假设我们bind_host填写的页面内容为：”localhost:3000”，那么我们可以在浏览器打开这个页面http://localhost:3000

点击【增加 Runner】，第一步 【配置数据源】

此处输入图片的描述

注意选择数据源类型为 “tailx” 模式，填写日志路径为 /var/log/containers/*.log

然后配置解析方式，选择 【raw】方式解析
此处输入图片的描述

然后依次点击，知道配置发送方式时填写您的七牛账户”ak”，”sk”。

此时 logkit 部分您就配置完毕了，下面让我们来看看，作为 Kubernetes 平台的用户，我们该如何使用 logkit 。

Kubernetes 容器云平台用户视角

当你作为 Kubernetes 用户时，你无法将 logkit 安装在服务器上收集日志，但是你可以利用 Kubernetes 的 Daemonset 功能, 将 logkit 以 daemonset 的形式运行在 Kubernetes 的每一个机器上，此时 logkit 容器与您的实际容器通过共享 volume 的方式收集日志数据。

Docker 的日志统一放置在宿主机的 /var/lib/docker/containers 目录上，作为 daemonset 的 logkit 会自动探测该目录中新生成的日志并将之收集。

4. 下载配置文件

您可以通过如下命令获取部署到 Kubernetes 的配置文件。

  1. curl -L -O https://raw.githubusercontent.com/qiniu/logkit/develop/deploy/logkit_on_k8s.yaml

执行后生成的配置文件为 logkit_on_k8s.yaml，具体的配置如下（可能随版本变动下载到的会有所不同）：

  1. ---
  2. apiVersion: v1
  3. kind: ConfigMap
  4. metadata:
  5.   name: logkit-config
  6.   namespace: kube-system
  7.   labels:
  8.     k8s-app: logkit
  9. data:
  10.   k8s.conf: |-
  11.     {
  12.       "name": "k8s_runner",
  13.       "batch_interval": 60,
  14.       "reader": {
  15.         "mode": "tailx",
  16.         "log_path": "/var/log/containers/*.log",
  17.         "read_from": "oldest",
  18.         "datasource_tag": "source_file",
  19.         "expire": "240h",
  20.         "stat_interval": "3m"
  21.       },
  22.       "parser": {
  23.         "type": "raw",
  24.         "timestamp": "true"
  25.       },
  26.       "senders": [
  27.         {
  28.           "sender_type": "pandora",
  29.           "pandora_repo_name": "k8s_log",
  30.           "pandora_ak": "${QINIU_ACCESS_KEY}",
  31.           "pandora_sk": "${QINIU_SECRET_KEY}",
  32.           "pandora_host": "https://pipeline.qiniu.com",
  33.           "pandora_region": "nb",
  34.           "pandora_schema_free": "true",
  35.           "pandora_enable_logdb": "true",
  36.           "pandora_logdb_host": "https://logdb.qiniu.com",
  37.           "pandora_gzip": "true",
  38.           "pandora_uuid": "false",
  39.           "pandora_withip": "true",
  40.           "ft_strategy": "backup_only",
  41.           "ignore_invalid_field": "true",
  42.           "pandora_auto_convert_date": "true"
  43.         }
  44.       ]
  45.     }
  46. ---
  47. apiVersion: extensions/v1beta1
  48. kind: DaemonSet
  49. metadata:
  50.   name: logkit
  51.   namespace: kube-system
  52.   labels:
  53.     k8s-app: logkit
  54. spec:
  55.   template:
  56.     metadata:
  57.       labels:
  58.         k8s-app: logkit
  59.     spec:
  60.       terminationGracePeriodSeconds: 30
  61.       containers:
  62.       - name: logkit
  63.         image: wonderflow/logkit:v1.3.6
  64.         env:
  65.         - name: QINIU_ACCESS_KEY
  66.           value: change_me_to_your_qiniu_access_key
  67.         - name: QINIU_SECRET_KEY
  68.           value: change_me_to_your_qiniu_secret_key
  69.         - name: POD_NAMESPACE
  70.           valueFrom:
  71.             fieldRef:
  72.               fieldPath: metadata.namespace
  73.         securityContext:
  74.           runAsUser: 0
  75.         resources:
  76.           limits:
  77.             memory: 200Mi
  78.           requests:
  79.             cpu: 100m
  80.             memory: 100Mi
  81.         volumeMounts:
  82.         - name: config
  83.           mountPath: /app/confs/k8s.conf
  84.           readOnly: true
  85.           subPath: k8s.conf
  86.         - name: varlibdockercontainers
  87.           mountPath: /var/lib/docker/containers
  88.           readOnly: true
  89.         - name: varlogcontainers
  90.           mountPath: /var/log/containers
  91.           readOnly: true
  92.         - name: varlogpods
  93.           mountPath: /var/log/pods
  94.           readOnly: true
  95.       volumes:
  96.       - name: config
  97.         configMap:
  98.           defaultMode: 0600
  99.           name: logkit-config
  100.       - name: varlibdockercontainers
  101.         hostPath:
  102.           path: /var/lib/docker/containers
  103.       - name: varlogcontainers
  104.         hostPath:
  105.           path: /var/log/containers
  106.       - name: varlogpods
  107.         hostPath:
  108.           path: /var/log/pods
  109.       - name: data
  110.         emptyDir: {}

5. 修改配置文件

默认情况下，我们的配置文件会使用 kube-system 这个 Kubernetes 的 namespace ，所有的部署仅针对该 namespace 生效。如果你想要使用别的 namespace ，只需要修改配置文件的 namespace 部分，将之改为你的 namespace 名称。

另外，这份默认的配置文件，你只需要修改2个基本参数，就可以运行。

  1.  - name: QINIU_ACCESS_KEY
  2.    value: change_me_to_your_qiniu_access_key
  3.  - name: QINIU_SECRET_KEY
  4.    value: change_me_to_your_qiniu_secret_key

将 change_me_to_your_qiniu_access_key 改为您七牛账号的 AK(access_key) ，将 change_me_to_your_qiniu_secret_key 改为您七牛账号的SK(secret_key)。

6. 部署到Kubernetes

部署到 Kubernetes 非常简单，只需要运行一行命令即可。

  1. kubectl create -f logkit_on_k8s.yaml

通过以下命令查看部署是否成功：

  1. $ kubectl --namespace=kube-system get ds/logkit

此时日志就源源不断的流向您的数据源啦，可以在 Pandora 日志检索中查看。如 图4 所示。

此处输入图片的描述

默认就能获得机器的 hostname 信息，Kubernetes container 信息， Kubernetes 的 namespace 信息，Kubernetes 的 pod 信息，容器的 IP 地址，机器的操作系统，已经原始的用户日志。

后续配置可以参考【运维日志分析 — 日志搜索和关键字报警】