添加 Fluentd 作为接收器

您可以在 KubeSphere 中使用 Elasticsearch、Kafka 和 Fluentd 日志接收器。本教程演示：

  • 创建 Fluentd 部署以及对应的服务和 ConfigMap。
  • 添加 Fluentd 作为日志接收器以接收来自 Fluent Bit 的日志，并输出为 stdout（标准输出）。
  • 验证 Fluentd 能否成功接收日志。

准备工作

  • 您需要一个被授予集群管理权限的帐户。例如，您可以直接用 admin 帐户登录控制台，或创建一个具有集群管理权限的角色然后将此角色授予一个帐户。

  • 添加日志接收器前，您需要启用组件 logging、events 或 auditing。有关更多信息，请参见启用可插拔组件。本教程启用 logging 作为示例。

步骤 1：创建 Fluentd 部署

由于内存消耗低，KubeSphere 选择 Fluent Bit。Fluentd 一般在 Kubernetes 中以守护进程集的形式部署，在每个节点上收集容器日志。此外，Fluentd 支持多个插件。因此，Fluentd 会以部署的形式在 KubeSphere 中创建，将从 Fluent Bit 接收到的日志发送到多个目标，例如 S3、MongoDB、Cassandra、MySQL、syslog 和 Splunk 等。

执行以下命令：

备注

  • 以下命令将在默认命名空间 default 中创建 Fluentd 部署、服务和 ConfigMap，并为该 Fluentd ConfigMap 添加 filter 以排除 default 命名空间中的日志，避免 Fluent Bit 和 Fluentd 重复日志收集。
  • 如果您想要将 Fluentd 部署至其他命名空间，请修改以下命令中的命名空间名称。
  1. cat <<EOF | kubectl apply -f -
  2. apiVersion: v1
  3. kind: ConfigMap
  4. metadata:
  5.   name: fluentd-config
  6.   namespace: default
  7. data:
  8.   fluent.conf: |-
  9.     # Receive logs sent from Fluent Bit on port 24224
  10.     <source>
  11.       @type forward
  12.       port 24224
  13.     </source>
  15.     # Because this will send logs Fluentd received to stdout,
  16.     # to avoid Fluent Bit and Fluentd loop logs collection,
  17.     # add a filter here to avoid sending logs from the default namespace to stdout again
  18.     <filter **>
  19.       @type grep
  20.       <exclude>
  21.         key $.kubernetes.namespace_name
  22.         pattern /^default$/
  23.       </exclude>
  24.     </filter>
  26.     # Send received logs to stdout for demo/test purpose only
  27.     # Various output plugins are supported to output logs to S3, MongoDB, Cassandra, MySQL, syslog, Splunk, etc.
  28.     <match **>
  29.       @type stdout
  30.     </match>    
  31. ---
  32. apiVersion: apps/v1
  33. kind: Deployment
  34. metadata:
  35.   labels:
  36.     app: fluentd
  37.   name: fluentd
  38.   namespace: default
  39. spec:
  40.   replicas: 1
  41.   selector:
  42.     matchLabels:
  43.       app: fluentd
  44.   template:
  45.     metadata:
  46.       labels:
  47.         app: fluentd
  48.     spec:
  49.       containers:
  50.       - image: fluentd:v1.9.1-1.0
  51.         imagePullPolicy: IfNotPresent
  52.         name: fluentd
  53.         ports:
  54.         - containerPort: 24224
  55.           name: forward
  56.           protocol: TCP
  57.         - containerPort: 5140
  58.           name: syslog
  59.           protocol: TCP
  60.         volumeMounts:
  61.         - mountPath: /fluentd/etc
  62.           name: config
  63.           readOnly: true
  64.       volumes:
  65.       - configMap:
  66.           defaultMode: 420
  67.           name: fluentd-config
  68.         name: config
  69. ---
  70. apiVersion: v1
  71. kind: Service
  72. metadata:
  73.   labels:
  74.     app: fluentd-svc
  75.   name: fluentd-svc
  76.   namespace: default
  77. spec:
  78.   ports:
  79.   - name: forward
  80.     port: 24224
  81.     protocol: TCP
  82.     targetPort: forward
  83.   selector:
  84.     app: fluentd
  85.   sessionAffinity: None
  86.   type: ClusterIP
  87. EOF

步骤 2：添加 Fluentd 作为日志接收器

  1. 以 admin 身份登录 KubeSphere 的 Web 控制台。点击左上角的平台管理，然后选择集群管理。

  2. 如果您启用了多集群功能，您可以选择一个集群。如果尚未启用该功能，请直接进行下一步。

  3. 在集群管理页面，选择集群设置下的日志收集。

  4. 点击添加日志接收器并选择 Fluentd。

    add-receiver

  5. 输入 Fluentd 服务地址和端口信息，如下所示：

    add-fluentd

  6. Fluentd 会显示在日志收集页面的接收器列表中，状态为收集中。

    receiver-list

步骤 3：验证 Fluentd 能否从 Fluent Bit 接收日志

  1. 在集群管理页面点击应用负载。

  2. 点击工作负载，并从部署选项卡下的下拉菜单中选择 default 项目。

  3. 点击 fluentd 项目并选择 fluentd-xxxxxxxxx-xxxxx Pod。

  4. 点击 fluentd 容器。

  5. 在 fluentd 容器页面，选择容器日志选项卡。

  6. 您可以看到日志持续滚动输出。

    container-logs