添加 Fluentd 作为接收器

您可以在 KubeSphere 中使用 Elasticsearch、Kafka 和 Fluentd 日志接收器。本教程演示：

  • 创建 Fluentd 部署以及对应的服务（Service）和配置字典（ConfigMap）。
  • 添加 Fluentd 作为日志接收器以接收来自 Fluent Bit 的日志，并输出为标准输出。
  • 验证 Fluentd 能否成功接收日志。

准备工作

  • 您需要一个被授予集群管理权限的用户。例如，您可以直接用 admin 用户登录控制台，或创建一个具有集群管理权限的角色然后将此角色授予一个用户。

  • 添加日志接收器前，您需要启用组件 logging、events 或 auditing。有关更多信息，请参见启用可插拔组件。本教程启用 logging 作为示例。

步骤 1：创建 Fluentd 部署

由于内存消耗低，KubeSphere 选择 Fluent Bit。Fluentd 一般在 Kubernetes 中以守护进程集的形式部署，在每个节点上收集容器日志。此外，Fluentd 支持多个插件。因此，Fluentd 会以部署的形式在 KubeSphere 中创建，将从 Fluent Bit 接收到的日志发送到多个目标，例如 S3、MongoDB、Cassandra、MySQL、syslog 和 Splunk 等。

执行以下命令：

备注

  • 以下命令将在默认命名空间 default 中创建 Fluentd 部署、服务和配置字典，并为该 Fluentd 配置字典添加 filter 以排除 default 命名空间中的日志，避免 Fluent Bit 和 Fluentd 重复日志收集。
  • 如果您想要将 Fluentd 部署至其他命名空间，请修改以下命令中的命名空间名称。
  1. cat <<EOF | kubectl apply -f -
  2. apiVersion: v1
  3. kind: ConfigMap
  4. metadata:
  5.   name: fluentd-config
  6.   namespace: default
  7. data:
  8.   fluent.conf: |-
  9.     # Receive logs sent from Fluent Bit on port 24224
  10.     <source>
  11.       @type forward
  12.       port 24224
  13.     </source>
  15.     # Because this will send logs Fluentd received to stdout,
  16.     # to avoid Fluent Bit and Fluentd loop logs collection,
  17.     # add a filter here to avoid sending logs from the default namespace to stdout again
  18.     <filter **>
  19.       @type grep
  20.       <exclude>
  21.         key $.kubernetes.namespace_name
  22.         pattern /^default$/
  23.       </exclude>
  24.     </filter>
  26.     # Send received logs to stdout for demo/test purpose only
  27.     # Various output plugins are supported to output logs to S3, MongoDB, Cassandra, MySQL, syslog, Splunk, etc.
  28.     <match **>
  29.       @type stdout
  30.     </match>    
  31. ---
  32. apiVersion: apps/v1
  33. kind: Deployment
  34. metadata:
  35.   labels:
  36.     app: fluentd
  37.   name: fluentd
  38.   namespace: default
  39. spec:
  40.   replicas: 1
  41.   selector:
  42.     matchLabels:
  43.       app: fluentd
  44.   template:
  45.     metadata:
  46.       labels:
  47.         app: fluentd
  48.     spec:
  49.       containers:
  50.       - image: fluentd:v1.9.1-1.0
  51.         imagePullPolicy: IfNotPresent
  52.         name: fluentd
  53.         ports:
  54.         - containerPort: 24224
  55.           name: forward
  56.           protocol: TCP
  57.         - containerPort: 5140
  58.           name: syslog
  59.           protocol: TCP
  60.         volumeMounts:
  61.         - mountPath: /fluentd/etc
  62.           name: config
  63.           readOnly: true
  64.       volumes:
  65.       - configMap:
  66.           defaultMode: 420
  67.           name: fluentd-config
  68.         name: config
  69. ---
  70. apiVersion: v1
  71. kind: Service
  72. metadata:
  73.   labels:
  74.     app: fluentd
  75.   name: fluentd
  76.   namespace: default
  77. spec:
  78.   ports:
  79.   - name: forward
  80.     port: 24224
  81.     protocol: TCP
  82.     targetPort: forward
  83.   selector:
  84.     app: fluentd
  85.   sessionAffinity: None
  86.   type: ClusterIP
  87. EOF

步骤 2：添加 Fluentd 作为日志接收器

  1. 以 admin 身份登录 KubeSphere 的 Web 控制台。点击左上角的平台管理，然后选择集群管理。

    备注

    如果您启用了多集群功能，您可以选择一个集群。

  2. 在集群管理页面，选择集群设置下的日志接收器。

  3. 点击添加日志接收器并选择 Fluentd。

  4. 输入 Fluentd 服务地址和端口信息。

  5. Fluentd 会显示在日志接收器页面的接收器列表中，状态为收集中。

步骤 3：验证 Fluentd 能否从 Fluent Bit 接收日志

  1. 在集群管理页面点击应用负载。

  2. 点击工作负载，并在部署选项卡中选择 default 项目。

  3. 点击 fluentd 项目并选择 fluentd-xxxxxxxxx-xxxxx 容器组。

  4. 点击 fluentd 容器。

  5. 在 fluentd 容器页面，选择容器日志选项卡。

  6. 您可以看到日志持续滚动输出。