Prometheus

Prometheus 是一款流行的开源监控告警系统。Prometheus 于2016年加入了 Cloud Native Computing Foundation （云原生云计算基金会，简称 CNCF），成为继 Kubernetes 之后的第二个托管项目，该项目拥有非常活跃的开发人员和用户社区。

Prometheus 提供了 remote_write 和 remote_read 接口来利用其它数据库产品作为它的存储引擎。为了让 Prometheus 生态圈的用户能够利用 TDengine 的高效写入和查询，TDengine 也提供了对这两个接口的支持。

通过适当的配置， Prometheus 的数据可以通过 remote_write 接口存储到 TDengine 中，也可以通过 remote_read 接口来查询存储在 TDengine 中的数据，充分利用 TDengine 对时序数据的高效存储查询性能和集群处理能力。

前置条件

要将 Prometheus 数据写入 TDengine 需要以下几方面的准备工作。

  • TDengine 集群已经部署并正常运行
  • taosAdapter 已经安装并正常运行。具体细节请参考 taosAdapter 的使用手册
  • Prometheus 已经安装。安装 Prometheus 请参考官方文档

配置步骤

配置 Prometheus 是通过编辑 Prometheus 配置文件 prometheus.yml （默认位置 /etc/prometheus/prometheus.yml）完成的。

配置第三方数据库地址

将其中的 remote_read url 和 remote_write url 指向运行 taosAdapter 服务的服务器域名或 IP 地址，REST 服务端口（taosAdapter 默认使用 6041），以及希望写入 TDengine 的数据库名称，并确保相应的 URL 形式如下：

  • remote_read url : http://<taosAdapter's host>:<REST service port>/prometheus/v1/remote_read/<database name>
  • remote_write url : http://<taosAdapter's host>:<REST service port>/prometheus/v1/remote_write/<database name>

配置 Basic 验证

  • username： <TDengine’s username>
  • password： <TDengine’s password>

prometheus.yml 文件中 remote_write 和 remote_read 相关部分配置示例

  1. remote_write:
  2.   - url: "http://localhost:6041/prometheus/v1/remote_write/prometheus_data"
  3.     basic_auth:
  4.       username: root
  5.       password: taosdata
  7. remote_read:
  8.   - url: "http://localhost:6041/prometheus/v1/remote_read/prometheus_data"
  9.     basic_auth:
  10.       username: root
  11.       password: taosdata
  12.     remote_timeout: 10s
  13.     read_recent: true

验证方法

重启 Prometheus 后可参考以下示例验证从 Prometheus 向 TDengine 写入数据并能够正确读出。

使用 TDengine CLI 查询写入数据

  1. taos> show databases;
  2.               name              |
  3. =================================
  4.  information_schema             |
  5.  performance_schema             |
  6.  prometheus_data                |
  7. Query OK, 3 row(s) in set (0.000585s)
  9. taos> use prometheus_data;
  10. Database changed.
  12. taos> show stables;
  13.               name              |
  14. =================================
  15.  metrics                        |
  16. Query OK, 1 row(s) in set (0.000487s)
  18. taos> select * from metrics limit 10;
  19.               ts               |           value           |             labels             |
  20. =============================================================================================
  21.  2022-04-20 07:21:09.193000000 |               0.000024996 | {"__name__":"go_gc_duration... |
  22.  2022-04-20 07:21:14.193000000 |               0.000024996 | {"__name__":"go_gc_duration... |
  23.  2022-04-20 07:21:19.193000000 |               0.000024996 | {"__name__":"go_gc_duration... |
  24.  2022-04-20 07:21:24.193000000 |               0.000024996 | {"__name__":"go_gc_duration... |
  25.  2022-04-20 07:21:29.193000000 |               0.000024996 | {"__name__":"go_gc_duration... |
  26.  2022-04-20 07:21:09.193000000 |               0.000054249 | {"__name__":"go_gc_duration... |
  27.  2022-04-20 07:21:14.193000000 |               0.000054249 | {"__name__":"go_gc_duration... |
  28.  2022-04-20 07:21:19.193000000 |               0.000054249 | {"__name__":"go_gc_duration... |
  29.  2022-04-20 07:21:24.193000000 |               0.000054249 | {"__name__":"go_gc_duration... |
  30.  2022-04-20 07:21:29.193000000 |               0.000054249 | {"__name__":"go_gc_duration... |
  31. Query OK, 10 row(s) in set (0.011146s)

使用 promql-cli 通过 remote_read 从 TDengine 读取数据

安装 promql-cli

  1.  go install github.com/nalbury/promql-cli@latest

在 TDengine 和 taosAdapter 服务运行状态对 Prometheus 数据进行查询

  1. ubuntu@shuduo-1804 ~ $ promql-cli --host "http://127.0.0.1:9090" "sum(up) by (job)"
  2. JOB           VALUE    TIMESTAMP
  3. prometheus    1        2022-04-20T08:05:26Z
  4. node          1        2022-04-20T08:05:26Z

暂停 taosAdapter 服务后对 Prometheus 数据进行查询

  1. ubuntu@shuduo-1804 ~ $ sudo systemctl stop taosadapter.service
  2. ubuntu@shuduo-1804 ~ $ promql-cli --host "http://127.0.0.1:9090" "sum(up) by (job)"
  3. VALUE    TIMESTAMP
Prometheus - 图1note
  • TDengine 默认生成的子表名是根据规则生成的唯一 ID 值。