集成您自己的 Prometheus

KubeSphere 自带一些预装的自定义监控组件，包括 Prometheus Operator、Prometheus、Alertmanager、Grafana（可选）、各种 ServiceMonitor、node-exporter 和 kube-state-metrics。在您安装 KubeSphere 之前，这些组件可能已经存在。在 KubeSphere 3.3.0 中，您可以使用自己的 Prometheus 堆栈设置。

集成您自己的 Prometheus 的步骤

要使用您自己的 Prometheus 堆栈设置，请执行以下步骤：

  1. 卸载 KubeSphere 的自定义 Prometheus 堆栈

  2. 安装您自己的 Prometheus 堆栈

  3. 将 KubeSphere 自定义组件安装至您的 Prometheus 堆栈

  4. 更改 KubeSphere 的 monitoring endpoint

步骤 1：卸载 KubeSphere 的自定义 Prometheus 堆栈

  1. 执行以下命令，卸载堆栈：

    1. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/alertmanager/ 2>/dev/null
    2. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/devops/ 2>/dev/null
    3. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/etcd/ 2>/dev/null
    4. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/grafana/ 2>/dev/null
    5. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/kube-state-metrics/ 2>/dev/null
    6. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/node-exporter/ 2>/dev/null
    7. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/upgrade/ 2>/dev/null
    8. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/prometheus-rules-v1.16\+.yaml 2>/dev/null
    9. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/prometheus-rules.yaml 2>/dev/null
    10. kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/prometheus 2>/dev/null
    11. # Uncomment this line if you don't have Prometheus managed by Prometheus Operator in other namespaces.
    12. # kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/init/ 2>/dev/null

  2. 删除 Prometheus 使用的 PVC。

    1. kubectl -n kubesphere-monitoring-system delete pvc `kubectl -n kubesphere-monitoring-system get pvc | grep -v VOLUME | awk '{print $1}' |  tr '\n' ' '`

步骤 2：安装您自己的 Prometheus 堆栈

备注

KubeSphere 3.3.0 已经过认证，可以与以下 Prometheus 堆栈组件搭配使用：

  • Prometheus Operator v0.38.3+
  • Prometheus v2.20.1+
  • Alertmanager v0.21.0+
  • kube-state-metrics v1.9.6
  • node-exporter v0.18.1

请确保您的 Prometheus 堆栈组件版本符合上述版本要求，尤其是 node-exporter 和 kube-state-metrics。

如果只安装了 Prometheus Operator 和 Prometheus，请您务必安装 node-exporter 和 kube-state-metrics。node-exporter 和 kube-state-metrics 是 KubeSphere 正常运行的必要条件。

如果整个 Prometheus 堆栈已经启动并运行，您可以跳过此步骤。

Prometheus 堆栈可以通过多种方式进行安装。下面的步骤演示如何使用上游 kube-prometheus 将 Prometheus 堆栈安装至命名空间 monitoring 中。

  1. 获取 v0.6.0 版 kube-prometheus，它的 node-exporter 版本为 v0.18.1，与 KubeSphere 3.3.0 所使用的版本相匹配。

    1. cd ~ && git clone https://github.com/prometheus-operator/kube-prometheus.git && cd kube-prometheus && git checkout tags/v0.6.0 -b v0.6.0

  2. 设置命名空间 monitoring，安装 Prometheus Operator 和相应角色：

    1. kubectl apply -f manifests/setup/

  3. 稍等片刻待 Prometheus Operator 启动并运行。

    1. kubectl -n monitoring get pod --watch

  4. 移除不必要组件，例如 Prometheus Adapter。

    1. rm -rf manifests/prometheus-adapter-*.yaml

  5. 将 kube-state-metrics 的版本变更为 KubeSphere 3.3.0 所使用的 v1.9.6。

    1. sed -i 's/v1.9.5/v1.9.6/g' manifests/kube-state-metrics-deployment.yaml

  6. 安装 Prometheus、Alertmanager、Grafana、kube-state-metrics 以及 node-exporter。您可以只应用 YAML 文件 kube-state-metrics-*.yaml 或 node-exporter-*.yaml 来分别安装 kube-state-metrics 或 node-exporter。

    1. kubectl apply -f manifests/

步骤 3：将 KubeSphere 自定义组件安装至您的 Prometheus 堆栈

备注

KubeSphere 3.3.0 使用 Prometheus Operator 来管理 Prometheus/Alertmanager 配置和生命周期、ServiceMonitor（用于管理抓取配置）和 PrometheusRule（用于管理 Prometheus 记录/告警规则）。

KubeSphere kustomization 中列出了一些条目，其中 prometheus-rules.yaml 和 prometheus-rulesEtcd.yaml 是 KubeSphere 3.3.0 正常运行的必要条件，其他均为可选。如果您不希望现有 Alertmanager 的配置被覆盖，您可以移除 alertmanager-secret.yaml。如果您不希望自己的 ServiceMonitor 被覆盖（KubeSphere 自定义的 ServiceMonitor 弃用许多无关指标，以便 Prometheus 只存储最有用的指标），您可以移除 xxx-serviceMonitor.yaml。

如果您的 Prometheus 堆栈不是由 Prometheus Operator 进行管理，您可以跳过此步骤。但请务必确保：

  • 您必须将 PrometheusRule 和 PrometheusRule for etcd 中的记录/告警规则复制至您的 Prometheus 配置中，以便 KubeSphere 3.3.0 能够正常运行。

  • 配置您的 Prometheus，使其抓取指标的目标 (Target) 与 KubeSphere kustomization 中列出的 ServiceMonitor 的目标相同。

  1. 获取 KubeSphere 3.3.0 的自定义 kube-prometheus。

    1. cd ~ && mkdir kubesphere && cd kubesphere && git clone https://github.com/kubesphere/kube-prometheus.git && cd kube-prometheus/kustomize

  2. 将命名空间更改为您自己部署 Prometheus 堆栈的命名空间。例如，如果您按照步骤 2 将 Prometheus 安装在命名空间 monitoring 中，这里即为 monitoring。

    1. sed -i 's/my-namespace/<your own namespace>/g' kustomization.yaml

  3. 应用 KubeSphere 自定义组件，包括 Prometheus 规则、Alertmanager 配置和各种 ServiceMonitor 等。

    1. kubectl apply -k .

  4. 配置服务 (Service) 用于暴露 kube-scheduler 和 kube-controller-manager 指标。

    1. kubectl apply -f ./prometheus-serviceKubeScheduler.yaml
    2. kubectl apply -f ./prometheus-serviceKubeControllerManager.yaml

  5. 在您自己的命名空间中查找 Prometheus CR，通常为 Kubernetes。

    1. kubectl -n <your own namespace> get prometheus

  6. 将 Prometheus 规则评估间隔设置为 1m，与 KubeSphere 3.3.0 的自定义 ServiceMonitor 保持一致。规则评估间隔应大于或等于抓取间隔。

    1. kubectl -n <your own namespace> patch prometheus k8s --patch '{
    2.   "spec": {
    3.     "evaluationInterval": "1m"
    4.   }
    5. }' --type=merge

步骤 4：更改 KubeSphere 的 monitoring endpoint

您自己的 Prometheus 堆栈现在已启动并运行，您可以更改 KubeSphere 的监控 Endpoint 来使用您自己的 Prometheus。

  1. 运行以下命令，编辑 kubesphere-config：

    1. kubectl edit cm -n kubesphere-system kubesphere-config

  2. 搜寻到 monitoring endpoint 部分，如下所示：

    1.     monitoring:
    2.       endpoint: http://prometheus-operated.kubesphere-monitoring-system.svc:9090

  3. 将 monitoring endpoint 更改为您自己的 Prometheus：

    1.     monitoring:
    2.       endpoint: http://prometheus-operated.monitoring.svc:9090

  4. 运行以下命令，重启 KubeSphere APIserver。

    1. kubectl -n kubesphere-system rollout restart deployment/ks-apiserver

警告

如果您按照此指南启用/禁用 KubeSphere 可插拔组件，monitoring endpoint 会重置为初始值。此时，您需要再次将其更改为您自己的 Prometheus 并重启 KubeSphere APIserver。