本节将指导你使用 Helm 将 Apache Pulsar 快速地安装及运行在 Kubernetes 上,内容包括以下几个部分:

  • 使用 Helm 将 Apache Pulsar 安装在 Kubernetes 上
  • 启动与停止 Apache Pulsar
  • 使用 pulsar-admin 创建主题
  • 使用 Pulsar 客户端生产与消费消息
  • 通过 Prometheus 和 Grafana 来监控 Apache Pulsar 的状态

如需将 Pulsar 集群部署于生产用途,请参阅 如何配置与安装 Pulsar Helm chart

前提条件

  • Kubernetes server 1.14.0+
  • kubectl 1.14.0+
  • Helm 3.0+

Tip

对于接下来的步骤,步骤 2 与步骤 3 适用于 开发者,步骤 4 和 步骤 5 适用于 管理员

步骤 0:准备一个 Kubernetes 集群

在安装 Pulsar Helm chart 之前,你必须创建一个 Kubernetes 集群。 你可以按照 指示 来准备一个Kubernetes集群。

We use Minikube in this quick start guide. 要准备一个 Kubernetes 集群,请遵循以下步骤:

  1. 在 Minikube 上创建一个 Kubernetes 集群。

    1. minikube start --memory=8192 --cpus=4 --kubernetes-version=<k8s-version>

    <k8s-version> 可以是 Minikube 安装程序支持的任意 Kubernetes 版本 比如 v1.16.1

  2. 设置 kubectl 来使用 Minikube。

    1. kubectl config use-context minikube
  3. 若要在 Minikube 上使用与本地 Kubernetes 集群的 Kubernetes Dashboard,输入以下的命令:

    1. minikube dashboard

    这条命令会自动用你的浏览器打开一个网页。

步骤 1:安装 Pulsar Helm chart

  1. 添加 Pulsar Helm 仓库。

    1. helm repo add apache https://pulsar.apache.org/charts
    1. helm repo update
  2. 克隆 Pulsar Helm chart 的仓库。

    1. git clone https://github.com/apache/pulsar-helm-chart
    2. cd pulsar-helm-chart
  3. 运行脚本 prepare_helm_release.sh 来创建安装 Apache Pulsar Helm chart 所需的 secrets。 用户名 pulsar 与密码 pulsar 可用于登录 Grafana dashboard 与 Pulsar Manager。

    1. ./scripts/pulsar/prepare_helm_release.sh \
    2. -n pulsar \
    3. -k pulsar-mini \
    4. -c
  4. 使用 Pulsar Helm chart 来将一个 Pulsar 集群安装至 Kubernetes。

    1. helm install \
    2. --values examples/values-minikube.yaml \
    3. pulsar-mini apache/pulsar
  5. 检查所有 pod 的状态。

    1. kubectl get pods -n pulsar

    如果所有 pod 都成功启动,你会看到 STATUS 变为 RunningCompleted

    输出

    1. NAME READY STATUS RESTARTS AGE
    2. pulsar-mini-bookie-0 1/1 Running 0 9m27s
    3. pulsar-mini-bookie-init-5gphs 0/1 Completed 0 9m27s
    4. pulsar-mini-broker-0 1/1 Running 0 9m27s
    5. pulsar-mini-grafana-6b7bcc64c7-4tkxd 1/1 Running 0 9m27s
    6. pulsar-mini-prometheus-5fcf5dd84c-w8mgz 1/1 Running 0 9m27s
    7. pulsar-mini-proxy-0 1/1 Running 0 9m27s
    8. pulsar-mini-pulsar-init-t7cqt 0/1 Completed 0 9m27s
    9. pulsar-mini-pulsar-manager-9bcbb4d9f-htpcs 1/1 Running 0 9m27s
    10. pulsar-mini-toolset-0 1/1 Running 0 9m27s
    11. pulsar-mini-zookeeper-0 1/1 Running 0 9m27s
  6. 检查命名空间 pulsar 下所有服务的状态。

    1. kubectl get services -n pulsar

    输出

    1. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
    2. pulsar-mini-bookie ClusterIP None <none> 3181/TCP,8000/TCP 11m
    3. pulsar-mini-broker ClusterIP None <none> 8080/TCP,6650/TCP 11m
    4. pulsar-mini-grafana LoadBalancer 10.106.141.246 <pending> 3000:31905/TCP 11m
    5. pulsar-mini-prometheus ClusterIP None <none> 9090/TCP 11m
    6. pulsar-mini-proxy LoadBalancer 10.97.240.109 <pending> 80:32305/TCP,6650:31816/TCP 11m
    7. pulsar-mini-pulsar-manager LoadBalancer 10.103.192.175 <pending> 9527:30190/TCP 11m
    8. pulsar-mini-toolset ClusterIP None <none> <none> 11m
    9. pulsar-mini-zookeeper ClusterIP None <none> 2888/TCP,3888/TCP,2181/TCP 11m

步骤 2:使用 pulsar-admin 来创建 Pulsar 租户/命名空间/主题

pulsar-admin 是 Pulsar 的 CLI(命令行客户端) 工具。 这一步中,你可以使用 pulsar-admin 来创建资源,包括租户、命名空间和主题。

  1. 进入 toolset 容器。

    1. kubectl exec -it -n pulsar pulsar-mini-toolset-0 -- /bin/bash
  2. toolset 容器里,创建一个名为 apache 的租户。

    1. bin/pulsar-admin tenants create apache

    然后你可以列出所有租户,来查看租户是否创建成功。

    1. bin/pulsar-admin tenants list

    你应该能看到类似如下的输出: 租户 apache 已经被成功地创建了。

    1. "apache"
    2. "public"
    3. "pulsar"
  3. toolset 容器里,在租户 apache 下创建一个名为 pulsar 的命名空间。

    1. bin/pulsar-admin namespaces create apache/pulsar

    然后你可以列出租户 apache 的所有命名空间,来查看命名空间是否创建成功。

    1. bin/pulsar-admin namespaces list apache

    你应该能看到类似如下的输出: 命名空间 apache/pulsar 已经被成功地创建了。

    1. "apache/pulsar"
  4. toolset 容器里,在命名空间 apache/pulsar 下创建一个包含 4 个分区的主题 test-topic

    1. bin/pulsar-admin topics create-partitioned-topic apache/pulsar/test-topic -p 4
  5. toolset 容器里,列出命名空间 apache/pulsar 中的所有分区主题。

    1. bin/pulsar-admin topics list-partitioned-topics apache/pulsar

    然后你可以看见命名空间 apache/pulsar 下的所有分区主题。

    1. "persistent://apache/pulsar/test-topic"

步骤 3:使用 Pulsar 客户端生产和消费消息

你可以使用 Pulsar 客户端来创建生产者与消费者并用于生产和消费消息。

默认地,Pulsar Helm chart 会通过 Kubernetes LoadBalancer 将 Pulsar 集群暴露出来。 在 Minikube 中,你可以使用以下命令获取代理服务的 IP 地址。

  1. kubectl get services -n pulsar | grep pulsar-mini-proxy

你将看到类似如下的输出:

  1. pulsar-mini-proxy LoadBalancer 10.97.240.109 <pending> 80:32305/TCP,6650:31816/TCP 28m

这个输出显示 Pulsar 集群的二进制端口及 HTTP 端口暴露给了哪些节点端口。 80: 后面的端口是 HTTP 端口,而 6650: 后面的端口是二进制端口。

然后你可以通过运行以下命令来获取你的 Minikube 服务器 IP 地址。

  1. minikube ip

此时,你可以获得连接到你的 Pulsar 客户端的服务 URL。

  1. webServiceUrl=http://$(minikube ip):<exposed-http-port>/
  2. brokerServiceUrl=pulsar://$(minikube ip):<exposed-binary-port>/

然后你可以继续如下步骤:

  1. 下载页面 下载 Apache Pulsar tarball。

  2. 基于你的下载文件解压 tarball。

    1. tar -xf <file-name>.tar.gz
  3. 暴露 PULSAR_HOME

    (1) 输入已解压的下载文件的目录。

    (2) 将 PULSAR_HOME 暴露为环境变量。

    1. ```bash
    2. export PULSAR_HOME=$(pwd)

    ```

  4. 配置 Pulsar 客户端。

    ${PULSAR_HOME}/conf/client.conf 文件中,用你从上面步骤中获得的服务 URL 来替换掉 webServiceUrlbrokerServiceUrl

  5. 创建订阅以消耗来自 apache/pulsar/test-tope 的消息。

    1. bin/pulsar-client consume -s sub apache/pulsar/test-topic -n 0
  6. 打开一个新的终端。 在新终端中,创建一个生产者并向 test-topic 主题发送10条消息。

    1. bin/pulsar-client produce apache/pulsar/test-topic -m "---------hello apache pulsar-------" -n 10
  7. 验证结果。

    • 对于生产者而言

      输出

      消息已被成功生产。

      1. 18:15:15.489 [main] INFO org.apache.pulsar.client.cli.PulsarClientTool - 10 messages successfully produced
    • 对于消费者而言

      输出

      同时,你可以收到如下的消息。

      1. ----- got message -----
      2. ---------hello apache pulsar-------
      3. ----- got message -----
      4. ---------hello apache pulsar-------
      5. ----- got message -----
      6. ---------hello apache pulsar-------
      7. ----- got message -----
      8. ---------hello apache pulsar-------
      9. ----- got message -----
      10. ---------hello apache pulsar-------
      11. ----- got message -----
      12. ---------hello apache pulsar-------
      13. ----- got message -----
      14. ---------hello apache pulsar-------
      15. ----- got message -----
      16. ---------hello apache pulsar-------
      17. ----- got message -----
      18. ---------hello apache pulsar-------
      19. ----- got message -----
      20. ---------hello apache pulsar-------

步骤 4:使用 Pulsar Manager 来管理集群

Pulsar Manager 是一个基于网络 GUI 的管理工具,用于管理和监测Pulsar。

  1. 默认情况下, Pulsar Manager 作为一个独立的 LoadBalancer 暴露给外界。 你可以使用以下命令打开 Pulsar Manager 界面:

    1. minikube service -n pulsar pulsar-mini-pulsar-manager
  2. Pulsar Manager UI 将会在你的浏览器中打开。 你可以使用用户名 pulsar 和密码 pulsar 来登录进 Pulsar Manager。

  3. 在 Pulsar Manager UI 中,你可以创建一个环境。

    • 点击左上角的 New Environment 按钮。
    • 在弹窗中的 Environment Name 一栏里输入 pulsar-mini
    • 在弹窗中的 Service URL 一栏里输入 http://pulsar-mini-broker:8080
    • 点击弹窗中的 Confirm 按钮。
  4. 成功创建环境后,你将被重定向到新环境的 租户 页面。 然后你可以使用 Pulsar Manager 来创建 租户命名空间主题

步骤 5:使用 Prometheus 和 Grafana 来监控集群

Grafana 是一个开源的可视化工具,用于将时间序列数据直观地可视化为仪表板。

  1. 默认情况下, Grafana 作为一个独立的 LoadBalancer 暴露给外界。 你可以使用以下命令打开 Grafana 界面:

    1. minikube service pulsar-mini-grafana -n pulsar
  2. Grafana UI 会在你的浏览器中打开。 你可以使用用户名 pulsar 和密码 pulsar 来登录进 Grafana仪表板。

  3. 你可以查看 Pulsar 集群的不同组件的仪表板。