使用 Prometheus 监控

Prometheus是在云原生计算基金会管理下开发的一款开源监控软件。

Ozone 原生支持 Prometheus,各个组件会启动一个兼容 Prometheus 的指标端点,将所有可用的 hadoop 指标以 Prometheus 的格式导出发布。

准备

  1. 安装启动一个 Ozone 集群。
  2. 下载 Prometheus 二进制包。

使用 Prometheus 进行监控

  • 你需要在 ozone-site.xml 文件中添加配置才可以启用 Prometheus 指标端点。
  1. <property>
  2. <name>hdds.prometheus.endpoint.enabled</name>
  3. <value>true</value>
  4. </property>

注意: 对于基于 docker-compose 方式的伪集群,在 docker-config 文件中添加 OZONE-SITE.XML_hdds.prometheus.endpoint.enabled=true

  1. global:
  2. scrape_interval: 15s
  3. scrape_configs:
  4. - job_name: ozone
  5. metrics_path: /prom
  6. static_configs:
  7. - targets:
  8. - "scm:9876"
  9. - "ozoneManager:9874"
  • 在 prometheus.yaml 文件所在目录启动 Prometheus:
  1. prometheus
  • 在 Prometheus 的 web ui 中查看目标:

http://localhost:9090/targets

Prometheus 目标页面示例

  • 在 Prometheus web ui 中查看任意的指标,例如: For example:

http://localhost:9090/graph?g0.range\_input=1h&g0.expr=om\_metrics\_num\_key\_allocate&g0.tab=1

Prometheus 指标页面示例

注意事项

Ozone 发行包中包含了一个即开即用的容器化环境来试用 Ozone 和 Prometheus,在 compose/ozone 目录下。

  1. cd compose/ozone
  2. export COMPOSE_FILE=docker-compose.yaml:monitoring.yaml
  3. docker-compose up -d

Next >>