Pulsar Metrics

Pulsar 以 Prometheus 的格式暴露如下度量值。 你可以用这些度量值监视你的集群。

• ZooKeeper
• BookKeeper
• Broker
• Pulsar Functions
• 代理
• Pulsar SQL Worker
• Pulsar transaction

可以使用下列类型的度量值：

• Counter: 累计度量，代表一个单调递增的计数器。 值默认会增加。 你可以将值重置为零或重新启动你的集群。
• Gauge: 本指标代表一个可以随意增加或减少的数值。
• Histogram: 直方图样本观测 (通常是请求持续时间和响应大小) ，并将它们计入可配置的 bucket 中。 _bucket 后缀是用参数 {le="< upper inclusive bound>"} 配置的直方图桶内的观察次数。 _count 后缀是以时间序列显示的观察次数，其行为就像计数器。 _sum 后缀是观察到的值的总量，也作为时间序列显示并像计数器一样。 这些后缀由 _* 在本文档中指明。
• Summary: 与直方图类似的总结样本观察 (通常是请求持续时间和响应大小)。 但它同时也提供了总观测次数以及所有观测值的总和，它会在滑动的时间窗口上计算可配置的分位数。

ZooKeeper

ZooKeeper 度量值会暴露在端口 8000 的 “/metrics”下。 您可以通过conf/zookeeper.conf配置 metricsProvider.httpPort 来使用另一个端口。

ZooKeeper 从 3.6.0 开始提供了一个新的 Metrics System，更详细的指标可以参考 ZooKeeper Monitor Guide。

BookKeeper

BookKeeper 度量值会暴露在端口 8000 的”/metrics”下。 你可以通过更新 bookkeeper.conf 配置文件中的 prometheusStatsHttpPort 来更改端口。

服务器度量值

日志度量值

存储度量值

Broker

broker 度量值会暴露在端口 8080 的”/metrics”下。 你可以通过更新 broker.conf 配置文件中的 webServicePort 来更改端口。

broker 暴露的所有度量值会带有 cluster=${pulsar_cluster} 标签。 Pulsar 集群的名称是 ${pulsar_cluster} 的值，也就是你在 broker.conf 文件中所设置的。

如下的度量值对 broker 可用：

• ZooKeeper
  • 服务器度量值
  • 请求度量值
• BookKeeper
  • 服务器度量值
  • 日志度量值
  • 存储度量值
• Broker
  • 命名空间度量值
    • 复制度量值
  • 主题度量值
    • 复制度量值
  • ManagedLedgerCache 度量值
  • ManagedLedger 度量值
  • LoadBalancing 度量值
    • BundleUnloading 度量值
    • BundleSplit 度量值
  • Subscription metrics
  • Consumer metrics
  • 托管的 ledger bookie 客户端度量值
  • Token metrics
  • Authentication metrics
  • 连接指标
  • Jetty metrics
• Pulsar Functions
• 代理
• Pulsar SQL Worker
• Pulsar transaction

命名空间度量值

命名空间度量值只有在 exposeTopicLevelMetricsInPrometheus 被设为 false 时才暴露。

所有命名空间度量值都带有以下标签：

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• namespace: namespace=${pulsar_namespace}. ${pulsar_namespace} 是命名空间名称。

复制度量值

如果一个命名空间被配置为在多个Pulsar集群中复制，当replicationMetricsEnabled 启用时，相应的复制度量值也会暴露出来。

所有的复制度量值也带有 remoteCluster=${pulsar_remote_cluster} 标签。

主题度量值

主题度量值只有在 exposeTopicLevelMetricsInPrometheus 被设为 true 时才暴露。

所有主题度量值都带有以下标签：

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• namespace: namespace=${pulsar_namespace}. ${pulsar_namespace} 是命名空间名称。
• topic: topic=${pulsar_topic}. ${pulsar_topic} 是主题名。

复制度量值

如果主题所属的命名空间被配置为在多个Pulsar集群中复制，当replicationMetricsEnabled 启用时，相应的复制度量值也会暴露出来。

所有的复制度量值带有 remoteCluster=${pulsar_remote_cluster} 标签。

ManagedLedgerCache 度量值

所有 ManagedLedgerCache 度量值都带有以下标签：

• 集群: cluster=${pulsar_cluster}。 ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。

ManagedLedger 度量值

所有 managedLedger 度量值都带有以下标签：

• 集群: cluster=${pulsar_cluster}。 ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• 命名空间: namespace=${pulsar_namespace}。 ${pulsar_namespace} 是命名空间名称。
• 分位数: quantile=${quantile}. 分位数是只提供给 直方图 的类型度量值，代表了给定 Bucket 的阈值。

托管游标确认状态的统计信息

确认状态（acknowledgment state）首先会被持久化到 ledger 中。 当确认状态无法被持久化到 ledger 中时，它们将被持久化到 ZooKeeper。 To track the stats of acknowledgment, you can configure the metrics for the managed cursor.

All the cursor acknowledgment state metrics are labelled with the following labels:

• namespace: namespace=${pulsar_namespace}. ${pulsar_namespace} 是命名空间名称。

• ledger_name: ledger_name=${pulsar_ledger_name}. ${pulsar_ledger_name} is the ledger name.

• cursor_name: ledger_name=${pulsar_cursor_name}. ${pulsar_cursor_name} is the cursor name.

Name |Type |Description |—-|—-|—- brk_ml_cursor_persistLedgerSucceed(namespace=””, ledger_name=””, cursor_name:””)|Gauge|The number of acknowledgment states that is persistent to a ledger.| brk_ml_cursor_persistLedgerErrors(namespace=””, ledger_name=””, cursor_name:””)|Gauge|The number of ledger errors occurred when acknowledgment states fail to be persistent to the ledger.| brk_ml_cursor_persistZookeeperSucceed(namespace=””, ledger_name=””, cursor_name:””)|Gauge|The number of acknowledgment states that is persistent to ZooKeeper. brk_ml_cursor_persistZookeeperErrors(namespace=””, ledger_name=””, cursor_name:””)|Gauge|The number of ledger errors occurred when acknowledgment states fail to be persistent to ZooKeeper. brk_ml_cursor_nonContiguousDeletedMessagesRange(namespace=””, ledger_name=””, cursor_name:””)|Gauge|The number of non-contiguous deleted messages ranges.

LoadBalancing 度量值

所有负载均衡度量值都带有以下标签：

• 集群: cluster=${pulsar_cluster}。 ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• broker: broker=${broker}. ${broker} 是 broker 的 IP 地址
• 度量值: metric=”loadBalancing”。

BundleUnloading 度量值

所有 bundleUnloading 度量值都带有以下标签：

• 集群: cluster=${pulsar_cluster}。 ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• 度量值: metric=”bundleUnloading”。

BundleSplit 度量值

所有 bundleUnloading 度量值都带有以下标签：

• 集群: cluster=${pulsar_cluster}。 ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• 度量值: metric=”bundlesSplit”。

Subscription metrics

订阅度量值只有在 exposeTopicLevelMetricsInPrometheus 被设为 true 时才暴露。

All the subscription metrics are labelled with the following labels:

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• namespace: namespace=${pulsar_namespace}. ${pulsar_namespace} 是命名空间名称。
• topic: topic=${pulsar_topic}. ${pulsar_topic} 是主题名。
• subscription: subscription=${subscription}. ${subscription} is the topic subscription name.

Consumer metrics

消费者度量值只有当 exposeTopicLevelMetricsInPrometheus 和 exposeConsumerLevelMetricsInPrometheus 都设为 true 时才暴露。

All the consumer metrics are labelled with the following labels:

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• namespace: namespace=${pulsar_namespace}. ${pulsar_namespace} 是命名空间名称。
• topic: topic=${pulsar_topic}. ${pulsar_topic} 是主题名。
• subscription: subscription=${subscription}. ${subscription} is the topic subscription name.
• consumer_name: consumer_name=${consumer_name}. ${consumer_name} is the topic consumer name.
• consumer_id: consumer_id=${consumer_id}. ${consumer_id} is the topic consumer id.

托管的 ledger bookie 客户端度量值

所有的托管 ledger bookie 客户端度量值都带有以下标签：

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。

Token metrics

All the token metrics are labelled with the following labels:

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。

Authentication metrics

All the authentication metrics are labelled with the following labels:

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• provider_name: provider_name=${provider_name}. ${provider_name} is the class name of the authentication provider.
• auth_method: auth_method=${auth_method}. ${auth_method} is the authentication method of the authentication provider.
• reason: reason=${reason}. ${reason} is the reason for failing authentication operation. (This label is only for pulsar_authentication_failures_count.)

连接指标

All the connection metrics are labelled with the following labels:

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• broker: broker=${advertised_address}. ${advertised_address} is the advertised address of the broker.
• metric: metric=${metric}. ${metric} is the connection metric collective name.

Jetty metrics

对于与brokers分开运行的function-worker，只有当includeStandardPrometheusMetrics被设置为true时，其Jetty指标才会被暴露。

所有 jetty 度量值都带有以下标签：

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。

Pulsar Functions

所有 Pulsar Functions 度量值都带有以下标签：

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• namespace: namespace=${pulsar_namespace}. ${pulsar_namespace} 是命名空间名称。

连接器

所有 Pulsar 连接器指标都带有以下标签：

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• namespace: namespace=${pulsar_namespace}. ${pulsar_namespace} 是命名空间名称。

Connector metrics contain source metrics and sink metrics.

• Source metrics

  配置项	类型	说明

pulsar_source_written_total|Counter|写入Pulsar topic 的记录总数。 pulsar_source_written_total_1min|Counter|在最后1分钟内写入Pulsar topic 的记录总数。 pulsar_source_receed_total|Counter|从 source 收到的记录总数。 pulsar_source_receed_total_1min|Counter|在最后1分钟内从 source 收到的记录总数。 pulsar_source_last_invocation|Gauge|最后一次调用 source 的时间戳。 pulsar_source_source_exception|Gauge|一个 source 的异常。 pulsar_source_source_exceptions_total|Counter| source 异常的总数。 pulsar_source_source_exceptions_total_1min|Counter|在最后1分钟内的source 异常总数。 pulsar_source_system_exception|Gauge|系统异常代码。 pulsar_source_system_exceptions_total|Counter|系统异常的总数。 pulsar_source_system_exceptions_total_1min|Counter|在最后1分钟内的系统异常总数。 pulsar_source_user_metric_| 总数|用户定义的指标。

• Sink metrics

  配置项	类型	说明

pulsar_sink_written_total|Counter|由 sink 处理的记录总数。 pulsar_sink_written_total_1min|Counter| 在最后1分钟内由 sink 处理的记录总数。 pulsar_sink_receed_total_1min|Counter| 过去 1 分钟内从 Pulsar topic 收到的消息总数。 pulsar_sink_receed_total|Counter| 一个 sink 从Pulsar topic 收到的记录总数。 pulsar_sink_last_invocation|Gauge|上次调用 sink 的时间戳。 pulsar_sink_sink_exception|Gauge| 来自 Sink 的异常 pulsar_sink_sink_exceptions_total|计数器异常总数。 pulsar_sink_sink_exceptions_total_1min|Counter|在最后1分钟内 sink 的异常总数。 pulsar_sink_system_exception|Gauge|系统异常代码。 pulsar_sink_system_exceptions_total|计数器|系统异常的总数。 pulsar_sink_system_exceptions_total_1min|Counter|在最后1分钟内的系统异常总数。 pulsar_sink_user_metric_| 总数|用户定义的指标。

代理

所有代理度量值都带有以下标签：

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• kubernetes_pod_name: kubernetes_pod_name=${kubernetes_pod_name}. ${kubernetes_pod_name} 是 kubernetes pod 名称。

Pulsar SQL Worker

Pulsar transaction

所有transaction指标都带有以下标签：

• cluster: cluster=${pulsar_cluster}. ${pulsar_cluster} 就是你在 broker.conf 中配置的集群名称。
• coordinator_id: coordinator_id=${coordinator_id}. ${coordinator_id} 是Coordinator id。