示例：使用 StatefulSet 部署 Cassandra

本教程描述拉如何在 Kubernetes 上运行 Apache Cassandra。 数据库 Cassandra 需要永久性存储提供数据持久性（应用 状态）。 在此示例中，自定义 Cassandra seed provider 使数据库在加入 Cassandra 集群时发现新的 Cassandra 实例。

使用 StatefulSets 可以更轻松地将有状态的应用程序部署到你的 Kubernetes 集群中。 有关本教程中使用的功能的更多信息， 参阅 StatefulSet。

说明：

Cassandra 和 Kubernetes 都使用术语 node 来表示集群的成员。 在本教程中，属于 StatefulSet 的 Pod 是 Cassandra 节点，并且是 Cassandra 集群的成员（称为 ring）。 当这些 Pod 在你的 Kubernetes 集群中运行时，Kubernetes 控制平面会将这些 Pod 调度到 Kubernetes 的 节点上。

当 Cassandra 节点启动时，使用 seed列表 来引导发现 ring 中其他节点。 本教程部署了一个自定义的 Cassandra seed provider，使数据库可以发现新的 Cassandra Pod 出现在 Kubernetes 集群中。

教程目标

  • 创建并验证 Cassandra 无头（headless）Service..
  • 使用 StatefulSet 创建一个 Cassandra ring。
  • 验证 StatefulSet。
  • 修改 StatefulSet。
  • 删除 StatefulSet 及其 Pod.

准备开始

你必须拥有一个 Kubernetes 的集群，同时你的 Kubernetes 集群必须带有 kubectl 命令行工具。 如果你还没有集群，你可以通过 Minikube 构建一 个你自己的集群，或者你可以使用下面任意一个 Kubernetes 工具构建：

要完成本教程，你应该已经熟悉 Pod， Service和 StatefulSet。

额外的 Minikube 设置说明

注意：

Minikube默认为 2048MB 内存和 2 个 CPU。 在本教程中，使用默认资源配置运行 Minikube 会导致资源不足的错误。为避免这些错误，请使用以下设置启动 Minikube：

  1. minikube start --memory 5120 --cpus=4

为 Cassandra 创建无头（headless） Services

在 Kubernetes 中，一个 Service 描述了一组执行相同任务的 Pod。

以下 Service 用于在 Cassandra Pod 和集群中的客户端之间进行 DNS 查找：

  1. apiVersion: v1
  2. kind: Service
  3. metadata:
  4.   labels:
  5.     app: cassandra
  6.   name: cassandra
  7. spec:
  8.   clusterIP: None
  9.   ports:
  10.   - port: 9042
  11.   selector:
  12.     app: cassandra

创建一个 Service 来跟踪 cassandra-service.yaml 文件中的所有 Cassandra StatefulSet：

  1. kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-service.yaml

验证(可选)

获取 Cassandra Service。

  1. kubectl get svc cassandra

响应是：

  1. NAME        TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
  2. cassandra   ClusterIP   None         <none>        9042/TCP   45s

如果没有看到名为 cassandra 的服务，则表示创建失败。 请阅读Debug Services，以解决常见问题。

使用 StatefulSet 创建 Cassandra Ring

下面包含的 StatefulSet 清单创建了一个由三个 Pod 组成的 Cassandra ring。

说明： 本示例使用 Minikube 的默认配置程序。 请为正在使用的云更新以下 StatefulSet。

  1. apiVersion: apps/v1
  2. kind: StatefulSet
  3. metadata:
  4.   name: cassandra
  5.   labels:
  6.     app: cassandra
  7. spec:
  8.   serviceName: cassandra
  9.   replicas: 3
  10.   selector:
  11.     matchLabels:
  12.       app: cassandra
  13.   template:
  14.     metadata:
  15.       labels:
  16.         app: cassandra
  17.     spec:
  18.       terminationGracePeriodSeconds: 1800
  19.       containers:
  20.       - name: cassandra
  21.         image: gcr.io/google-samples/cassandra:v13
  22.         imagePullPolicy: Always
  23.         ports:
  24.         - containerPort: 7000
  25.           name: intra-node
  26.         - containerPort: 7001
  27.           name: tls-intra-node
  28.         - containerPort: 7199
  29.           name: jmx
  30.         - containerPort: 9042
  31.           name: cql
  32.         resources:
  33.           limits:
  34.             cpu: "500m"
  35.             memory: 1Gi
  36.           requests:
  37.             cpu: "500m"
  38.             memory: 1Gi
  39.         securityContext:
  40.           capabilities:
  41.             add:
  42.               - IPC_LOCK
  43.         lifecycle:
  44.           preStop:
  45.             exec:
  46.               command: 
  47.               - /bin/sh
  48.               - -c
  49.               - nodetool drain
  50.         env:
  51.           - name: MAX_HEAP_SIZE
  52.             value: 512M
  53.           - name: HEAP_NEWSIZE
  54.             value: 100M
  55.           - name: CASSANDRA_SEEDS
  56.             value: "cassandra-0.cassandra.default.svc.cluster.local"
  57.           - name: CASSANDRA_CLUSTER_NAME
  58.             value: "K8Demo"
  59.           - name: CASSANDRA_DC
  60.             value: "DC1-K8Demo"
  61.           - name: CASSANDRA_RACK
  62.             value: "Rack1-K8Demo"
  63.           - name: POD_IP
  64.             valueFrom:
  65.               fieldRef:
  66.                 fieldPath: status.podIP
  67.         readinessProbe:
  68.           exec:
  69.             command:
  70.             - /bin/bash
  71.             - -c
  72.             - /ready-probe.sh
  73.           initialDelaySeconds: 15
  74.           timeoutSeconds: 5
  75.         # These volume mounts are persistent. They are like inline claims,
  76.         # but not exactly because the names need to match exactly one of
  77.         # the stateful pod volumes.
  78.         volumeMounts:
  79.         - name: cassandra-data
  80.           mountPath: /cassandra_data
  81.   # These are converted to volume claims by the controller
  82.   # and mounted at the paths mentioned above.
  83.   # do not use these in production until ssd GCEPersistentDisk or other ssd pd
  84.   volumeClaimTemplates:
  85.   - metadata:
  86.       name: cassandra-data
  87.     spec:
  88.       accessModes: [ "ReadWriteOnce" ]
  89.       storageClassName: fast
  90.       resources:
  91.         requests:
  92.           storage: 1Gi
  93. ---
  94. kind: StorageClass
  95. apiVersion: storage.k8s.io/v1
  96. metadata:
  97.   name: fast
  98. provisioner: k8s.io/minikube-hostpath
  99. parameters:
  100.   type: pd-ssd

使用 cassandra-statefulset.yaml 文件创建 Cassandra StatefulSet ：

  1. # 如果你能未经修改地 apply cassandra-statefulset.yaml，请使用此命令
  2. kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-statefulset.yaml

如果你为了适合你的集群需要修改 cassandra-statefulset.yaml， 下载 https://k8s.io/examples/application/cassandra/cassandra-statefulset.yaml， 然后 apply 修改后的清单。

  1. # 如果使用本地的 cassandra-statefulset.yaml ，请使用此命令
  2. kubectl apply -f cassandra-statefulset.yaml

验证 Cassandra StatefulSet

1.获取 Cassandra StatefulSet:

  1. ```shell
  2. kubectl get statefulset cassandra
  3. ```

响应应该与此类似：

  1. ```
  2. NAME        DESIRED   CURRENT   AGE
  3. cassandra   3         0         13s
  4. ```

StatefulSet 资源会按顺序部署 Pod。

2.获取 Pod 查看已排序的创建状态：

  1. ```shell
  2. kubectl get pods -l="app=cassandra"
  3. ```

响应应该与此类似：

  1. ```shell
  2. NAME          READY     STATUS              RESTARTS   AGE
  3. cassandra-0   1/1       Running             0          1m
  4. cassandra-1   0/1       ContainerCreating   0          8s
  5. ```

这三个 Pod 要花几分钟的时间才能部署。部署之后，相同的命令将返回类似于以下的输出：

  1. ```
  2. NAME          READY     STATUS    RESTARTS   AGE
  3. cassandra-0   1/1       Running   0          10m
  4. cassandra-1   1/1       Running   0          9m
  5. cassandra-2   1/1       Running   0          8m
  6. ```

3.运行第一个 Pod 中的 Cassandra nodetool，以显示 ring 的状态。

  1. ```shell
  2. kubectl exec -it cassandra-0 -- nodetool status
  3. ```

响应应该与此类似：

  1. ```
  2. Datacenter: DC1-K8Demo
  3. ======================
  4. Status=Up/Down
  5. |/ State=Normal/Leaving/Joining/Moving
  6. --  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
  7. UN  172.17.0.5  83.57 KiB  32           74.0%             e2dd09e6-d9d3-477e-96c5-45094c08db0f  Rack1-K8Demo
  8. UN  172.17.0.4  101.04 KiB  32           58.8%             f89d6835-3a42-4419-92b3-0e62cae1479c  Rack1-K8Demo
  9. UN  172.17.0.6  84.74 KiB  32           67.1%             a6a1e8c2-3dc5-4417-b1a0-26507af2aaad  Rack1-K8Demo
  10. ```

修改 Cassandra StatefulSet

使用 kubectl edit 修改 Cassandra StatefulSet 的大小。

1.运行以下命令：

  1. ```shell
  2. kubectl edit statefulset cassandra
  3. ```

此命令你的终端中打开一个编辑器。需要更改的是 replicas 字段。下面是 StatefulSet 文件的片段示例：

  1. ```yaml
  2. # Please edit the object below. Lines beginning with a '#' will be ignored,
  3. # and an empty file will abort the edit. If an error occurs while saving this file will be
  4. # reopened with the relevant failures.
  5. #
  6. apiVersion: apps/v1
  7. kind: StatefulSet
  8. metadata:
  9.   creationTimestamp: 2016-08-13T18:40:58Z
  10.   generation: 1
  11.   labels:
  12.   app: cassandra
  13.   name: cassandra
  14.   namespace: default
  15.   resourceVersion: "323"
  16.   uid: 7a219483-6185-11e6-a910-42010a8a0fc0
  17. spec:
  18.   replicas: 3
  19. ```

2.将副本数 (replicas) 更改为 4，然后保存清单。

StatefulSet 现在可以扩展到运行 4 个 Pod。

3.获取 Cassandra StatefulSet 验证更改：

  1. ```shell
  2. kubectl get statefulset cassandra
  3. ```

响应应该与此类似：

  1. ```
  2. NAME        DESIRED   CURRENT   AGE
  3. cassandra   4         4         36m
  4. ```

清理现场

删除或缩小 StatefulSet 不会删除与 StatefulSet 关联的卷。 这个设置是出于安全考虑，因为你的数据比自动清除所有相关的 StatefulSet 资源更有价值。

警告： 根据存储类和回收策略，删除 PersistentVolumeClaims 可能导致关联的卷也被删除。 千万不要认为其容量声明被删除，你就能访问数据。

1.运行以下命令（连在一起成为一个单独的命令）删除 Cassandra StatefulSet 中的所有内容：

  1. ```shell
  2. grace=$(kubectl get pod cassandra-0 -o=jsonpath='{.spec.terminationGracePeriodSeconds}') \
  3.   && kubectl delete statefulset -l app=cassandra \
  4.   && echo "Sleeping ${grace} seconds" 1>&2 \
  5.   && sleep $grace \
  6.   && kubectl delete persistentvolumeclaim -l app=cassandra
  7. ```

2.运行以下命令，删除你为 Cassandra 设置的 Service：

  1. ```shell
  2. kubectl delete service -l app=cassandra
  3. ```

Cassandra 容器环境变量

本教程中的 Pod 使用来自 Google container registry 的 gcr.io/google-samples/cassandra:v13 镜像。 上面的 Docker 镜像基于 debian-base，并且包含 OpenJDK 8。

该映像包括来自 Apache Debian 存储库的标准 Cassandra 安装。 通过使用环境变量，您可以更改插入到 cassandra.yaml 中的值。

Environment variableDefault value
CASSANDRA_CLUSTER_NAME‘Test Cluster’
CASSANDRA_NUM_TOKENS32
CASSANDRA_RPC_ADDRESS0.0.0.0

接下来