使用Helm管理kubernetes应用

读完本文后您应该可以自己创建chart，并创建自己的私有chart仓库。

Helm是一个kubernetes应用的包管理工具，用来管理charts——预先配置好的安装包资源，有点类似于Ubuntu的APT和CentOS中的yum。

Helm chart是用来封装kubernetes原生应用程序的yaml文件，可以在你部署应用的时候自定义应用程序的一些metadata，便与应用程序的分发。

Helm和charts的主要作用：

  • 应用程序封装
  • 版本管理
  • 依赖检查
  • 便于应用程序分发

安装Helm

前提要求

  • Kubernetes1.5以上版本
  • 集群可访问到的镜像仓库
  • 执行helm命令的主机可以访问到kubernetes集群

安装步骤

首先需要安装helm客户端

  1. curl https://raw.githubusercontent.com/kubernetes/helm/master/scripts/get > get_helm.sh
  2. chmod 700 get_helm.sh
  3. ./get_helm.sh

创建tiller的serviceaccount和clusterrolebinding

  1. kubectl create serviceaccount --namespace kube-system tiller
  2. kubectl create clusterrolebinding tiller-cluster-rule --clusterrole=cluster-admin --serviceaccount=kube-system:tiller

然后安装helm服务端tiller

  1. helm init -i sz-pg-oam-docker-hub-001.tendcloud.com/library/kubernetes-helm-tiller:v2.3.1

我们使用-i指定自己的镜像，因为官方的镜像因为某些原因无法拉取。

为应用程序设置serviceAccount：

  1. kubectl patch deploy --namespace kube-system tiller-deploy -p '{"spec":{"template":{"spec":{"serviceAccount":"tiller"}}}}'

检查是否安装成功：

  1. $ kubectl -n kube-system get pods|grep tiller
  2. tiller-deploy-2372561459-f6p0z         1/1       Running   0          1h
  3. $ helm version
  4. Client: &version.Version{SemVer:"v2.3.1", GitCommit:"32562a3040bb5ca690339b9840b6f60f8ce25da4", GitTreeState:"clean"}
  5. Server: &version.Version{SemVer:"v2.3.1", GitCommit:"32562a3040bb5ca690339b9840b6f60f8ce25da4", GitTreeState:"clean"}

创建自己的chart

我们创建一个名为mychart的chart，看一看chart的文件结构。

  1. $ helm create mongodb
  2. $ tree mongodb
  3. mongodb
  4. ├── Chart.yaml #Chart本身的版本和配置信息
  5. ├── charts #依赖的chart
  6. ├── templates #配置模板目录
  7. │   ├── NOTES.txt #helm提示信息
  8. │   ├── _helpers.tpl #用于修改kubernetes objcet配置的模板
  9. │   ├── deployment.yaml #kubernetes Deployment object
  10. │   └── service.yaml #kubernetes Serivce
  11. └── values.yaml #kubernetes object configuration
  13. 2 directories, 6 files

模板

Templates目录下是yaml文件的模板，遵循Go template语法。使用过Hugo的静态网站生成工具的人应该对此很熟悉。

我们查看下deployment.yaml文件的内容。

  1. apiVersion: extensions/v1beta1
  2. kind: Deployment
  3. metadata:
  4.   name: {{ template "fullname" . }}
  5.   labels:
  6.     chart: "{{ .Chart.Name }}-{{ .Chart.Version | replace "+" "_" }}"
  7. spec:
  8.   replicas: {{ .Values.replicaCount }}
  9.   template:
  10.     metadata:
  11.       labels:
  12.         app: {{ template "fullname" . }}
  13.     spec:
  14.       containers:
  15.       - name: {{ .Chart.Name }}
  16.         image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
  17.         imagePullPolicy: {{ .Values.image.pullPolicy }}
  18.         ports:
  19.         - containerPort: {{ .Values.service.internalPort }}
  20.         livenessProbe:
  21.           httpGet:
  22.             path: /
  23.             port: {{ .Values.service.internalPort }}
  24.         readinessProbe:
  25.           httpGet:
  26.             path: /
  27.             port: {{ .Values.service.internalPort }}
  28.         resources:
  29. {{ toYaml .Values.resources | indent 12 }}

这是该应用的Deployment的yaml配置文件，其中的双大括号包扩起来的部分是Go template，其中的Values是在values.yaml文件中定义的：

  1. # Default values for mychart.
  2. # This is a YAML-formatted file.
  3. # Declare variables to be passed into your templates.
  4. replicaCount: 1
  5. image:
  6.   repository: nginx
  7.   tag: stable
  8.   pullPolicy: IfNotPresent
  9. service:
  10.   name: nginx
  11.   type: ClusterIP
  12.   externalPort: 80
  13.   internalPort: 80
  14. resources:
  15.   limits:
  16.     cpu: 100m
  17.     memory: 128Mi
  18.   requests:
  19.     cpu: 100m
  20.     memory: 128Mi

比如在Deployment.yaml中定义的容器镜像image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"其中的：

  • .Values.image.repository就是nginx
  • .Values.image.tag就是stable

以上两个变量值是在create chart的时候自动生成的默认值。

我们将默认的镜像地址和tag改成我们自己的镜像sz-pg-oam-docker-hub-001.tendcloud.com/library/nginx:1.9。

检查配置和模板是否有效

当使用kubernetes部署应用的时候实际上讲templates渲染成最终的kubernetes能够识别的yaml格式。

使用helm install --dry-run --debug <chart_dir>命令来验证chart配置。该输出中包含了模板的变量配置与最终渲染的yaml文件。

  1. $ helm install --dry-run --debug mychart
  2. Created tunnel using local port: '58406'
  3. SERVER: "localhost:58406"
  4. CHART PATH: /Users/jimmy/Workspace/github/bitnami/charts/incubator/mean/charts/mychart
  5. NAME:   filled-seahorse
  6. REVISION: 1
  7. RELEASED: Tue Oct 24 18:57:13 2017
  8. CHART: mychart-0.1.0
  9. USER-SUPPLIED VALUES:
  10. {}
  12. COMPUTED VALUES:
  13. image:
  14.   pullPolicy: IfNotPresent
  15.   repository: sz-pg-oam-docker-hub-001.tendcloud.com/library/nginx
  16.   tag: 1.9
  17. replicaCount: 1
  18. resources:
  19.   limits:
  20.     cpu: 100m
  21.     memory: 128Mi
  22.   requests:
  23.     cpu: 100m
  24.     memory: 128Mi
  25. service:
  26.   externalPort: 80
  27.   internalPort: 80
  28.   name: nginx
  29.   type: ClusterIP
  31. HOOKS:
  32. MANIFEST:
  34. ---
  35. # Source: mychart/templates/service.yaml
  36. apiVersion: v1
  37. kind: Service
  38. metadata:
  39.   name: filled-seahorse-mychart
  40.   labels:
  41.     chart: "mychart-0.1.0"
  42. spec:
  43.   type: ClusterIP
  44.   ports:
  45.   - port: 80
  46.     targetPort: 80
  47.     protocol: TCP
  48.     name: nginx
  49.   selector:
  50.     app: filled-seahorse-mychart
  52. ---
  53. # Source: mychart/templates/deployment.yaml
  54. apiVersion: extensions/v1beta1
  55. kind: Deployment
  56. metadata:
  57.   name: filled-seahorse-mychart
  58.   labels:
  59.     chart: "mychart-0.1.0"
  60. spec:
  61.   replicas: 1
  62.   template:
  63.     metadata:
  64.       labels:
  65.         app: filled-seahorse-mychart
  66.     spec:
  67.       containers:
  68.       - name: mychart
  69.         image: "sz-pg-oam-docker-hub-001.tendcloud.com/library/nginx:1.9"
  70.         imagePullPolicy: IfNotPresent
  71.         ports:
  72.         - containerPort: 80
  73.         livenessProbe:
  74.           httpGet:
  75.             path: /
  76.             port: 80
  77.         readinessProbe:
  78.           httpGet:
  79.             path: /
  80.             port: 80
  81.         resources:
  82.             limits:
  83.               cpu: 100m
  84.               memory: 128Mi
  85.             requests:
  86.               cpu: 100m
  87.               memory: 128Mi

我们可以看到Deployment和Service的名字前半截由两个随机的单词组成，最后才是我们在values.yaml中配置的值。

部署到kubernetes

在mychart目录下执行下面的命令将nginx部署到kubernetes集群上。

  1. helm install .
  2. NAME:   eating-hound
  3. LAST DEPLOYED: Wed Oct 25 14:58:15 2017
  4. NAMESPACE: default
  5. STATUS: DEPLOYED
  7. RESOURCES:
  8. ==> v1/Service
  9. NAME                  CLUSTER-IP     EXTERNAL-IP  PORT(S)  AGE
  10. eating-hound-mychart  10.254.135.68  <none>       80/TCP   0s
  12. ==> extensions/v1beta1/Deployment
  13. NAME                  DESIRED  CURRENT  UP-TO-DATE  AVAILABLE  AGE
  14. eating-hound-mychart  1        1        1           0          0s
  17. NOTES:
  18. 1. Get the application URL by running these commands:
  19.   export POD_NAME=$(kubectl get pods --namespace default -l "app=eating-hound-mychart" -o jsonpath="{.items[0].metadata.name}")
  20.   echo "Visit http://127.0.0.1:8080 to use your application"
  21.   kubectl port-forward $POD_NAME 8080:80

现在nginx已经部署到kubernetes集群上，本地执行提示中的命令在本地主机上访问到nginx实例。

  1. export POD_NAME=$(kubectl get pods --namespace default -l "app=eating-hound-mychart" -o jsonpath="{.items[0].metadata.name}")
  2. echo "Visit http://127.0.0.1:8080 to use your application"
  3. kubectl port-forward $POD_NAME 8080:80

在本地访问http://127.0.0.1:8080即可访问到nginx。

查看部署的relaese

  1. $ helm list
  2. NAME            REVISION    UPDATED                     STATUS      CHART            NAMESPACE
  3. eating-hound    1           Wed Oct 25 14:58:15 2017    DEPLOYED    mychart-0.1.0    default

删除部署的release

  1. $ helm delete eating-hound
  2. release "eating-hound" deleted

打包分享

我们可以修改Chart.yaml中的helm chart配置信息，然后使用下列命令将chart打包成一个压缩文件。

  1. helm package .

打包出mychart-0.1.0.tgz文件。

依赖

我们可以在requirement.yaml中定义应用所依赖的chart，例如定义对mariadb的依赖：

  1. dependencies:
  2. - name: mariadb
  3.   version: 0.6.0
  4.   repository: https://kubernetes-charts.storage.googleapis.com

使用helm lint .命令可以检查依赖和模板配置是否正确。

安装源

我们在前面安装chart可以通过HTTP server的方式提供。

  1. $ helm serve
  2. Regenerating index. This may take a moment.
  3. Now serving you on 127.0.0.1:8879

访问http://localhost:8879可以看到刚刚安装的chart。

Helm chart源

点击链接即可以下载chart的压缩包。

部署MEAN测试案例

MEAN是用来构建网站和web应用的免费开源的JavaScript软件栈，该软件栈包括MongoDB、Express.js、Angular和Node.js。

下载charts

  1. $ git clone https://github.com/bitnami/charts.git
  2. $ cd charts/incubator/mean
  3. $ helm dep list
  4. NAME       VERSION    REPOSITORY                                           STATUS
  5. mongodb    0.4.x      https://kubernetes-charts.storage.googleapis.com/    missing

缺少mongodb的依赖，需要更新一下chart。

注：https://kubernetes-charts.storage.googleapis.com/是Google维护的chart库，访问该地址可以看到所有的chart列表。

  1. $ helm dep update
  2. Hang tight while we grab the latest from your chart repositories...
  3. ...Unable to get an update from the "local" chart repository (http://127.0.0.1:8879/charts):
  4.     Get http://127.0.0.1:8879/charts/index.yaml: dial tcp 127.0.0.1:8879: getsockopt: connection refused
  5. ...Successfully got an update from the "stable" chart repository
  6. Update Complete. ⎈Happy Helming!⎈
  7. Saving 1 charts
  8. Downloading mongodb from repo https://kubernetes-charts.storage.googleapis.com/

所有的image都在 values.yaml 文件中配置。

下载缺失的chart。

  1. $ helm dep build
  2. Hang tight while we grab the latest from your chart repositories...
  3. ...Unable to get an update from the "local" chart repository (http://127.0.0.1:8879/charts):
  4.     Get http://127.0.0.1:8879/charts/index.yaml: dial tcp 127.0.0.1:8879: getsockopt: connection refused
  5. ...Successfully got an update from the "stable" chart repository
  6. Update Complete. ⎈Happy Helming!⎈
  7. Saving 1 charts
  8. Downloading mongodb from repo https://kubernetes-charts.storage.googleapis.com/

修改mongodb chart配置

将刚才下载的charts/mongodb-0.4.17.tgz给解压后，修改其中的配置：

  • 将persistence下的enabled设置为false
  • 将image修改为我们的私有镜像：sz-pg-oam-docker-hub-001.tendcloud.com/library/bitnami-mongodb:3.4.9-r1

执行helm install --dry-run --debug .确定模板无误。

将修改后的mongodb chart打包，在mongodb的目录下执行：

  1. helm package .

现在再访问前面启动的helm server http://localhost:8879将可以在页面上看到mongodb-0.4.17这个chart。

我们对官方chart配置做了如下修改后推送到了自己的chart仓库：

  • requirements.yaml和requirements.lock文件中的repository为http://localhost:8879
  • 将values.yaml中的storageClass设置为null
  • 将values.yaml中的Image都改为私有镜像
  • repositroy都设置为http://localhost:8879

注：因为我们没有使用PVC所以将所有的关于持久化存储的配置都设置为false了。

部署MEAN

在mean目录下执行：

  1. helm install .
  2. NAME:   orbiting-platypus
  3. LAST DEPLOYED: Wed Oct 25 16:21:48 2017
  4. NAMESPACE: default
  5. STATUS: DEPLOYED
  7. RESOURCES:
  8. ==> v1/Secret
  9. NAME                       TYPE    DATA  AGE
  10. orbiting-platypus-mongodb  Opaque  2     2s
  12. ==> v1/ConfigMap
  13. NAME                    DATA  AGE
  14. orbiting-platypus-mean  1     2s
  16. ==> v1/Service
  17. NAME                       CLUSTER-IP      EXTERNAL-IP  PORT(S)    AGE
  18. orbiting-platypus-mongodb  10.254.144.208  <none>       27017/TCP  2s
  19. orbiting-platypus-mean     10.254.165.23   <none>       80/TCP     2s
  21. ==> extensions/v1beta1/Deployment
  22. NAME                       DESIRED  CURRENT  UP-TO-DATE  AVAILABLE  AGE
  23. orbiting-platypus-mean     1        1        1           0          2s
  24. orbiting-platypus-mongodb  1        1        1           0          2s
  27. NOTES:
  29. Get the URL of your Node app  by running:
  31.   export POD_NAME=$(kubectl get pods --namespace default -l "app=orbiting-platypus-mean" -o jsonpath="{.items[0].metadata.name}")
  32.   echo http://127.0.0.1:8080/
  33.   kubectl port-forward $POD_NAME 8080:80

这样MEAN软件栈就部署到你的kuberentes集群里面了（默认是在default namespace下）。

验证检查

为了验证MEAN是否安装成功过，可以使用kubectl get pods查看pod是否启动完成，会先启动mongodb的pod，然后启动MEAN中的4步init。

访问Web UI

在Ingress中增加如下配置：

  1.   - host: mean.jimmysong.io
  2.     http:
  3.       paths:
  4.       - backend:
  5.           serviceName: orbiting-platypus-mean
  6.           servicePort: 80
  7.         path: /

然后在页面中更新ingress:

  1. kubectl repalce -f ingress.yaml

关于Ingress配置请参考：边缘节点配置

然后在本地的/etc/hosts文件中增加一条配置：

  1. 172.20.0.119 mean.jimmysong.io

注：172.20.0.119即边缘节点的VIP。

因为该页面需要加载google的angularjs、还有两个css在国内无法访问，可以使用curl测试：

  1. curl mean.jimmysong.io

将会返回HTML内容：

  1. <!doctype html>
  3. <!-- ASSIGN OUR ANGULAR MODULE -->
  4. <html ng-app="scotchTodo">
  6. <head>
  7.     <!-- META -->
  8.     <meta charset="utf-8">
  9.     <meta name="viewport" content="width=device-width, initial-scale=1">
  10.     <!-- Optimize mobile viewport -->
  12.     <title>Node/Angular Todo App</title>
  14.     <!-- SCROLLS -->
  15.     <link rel="stylesheet" href="//netdna.bootstrapcdn.com/bootstrap/3.0.0/css/bootstrap.min.css">
  16.     <!-- load bootstrap -->
  17.     <link rel="stylesheet" href="//netdna.bootstrapcdn.com/font-awesome/4.0.3/css/font-awesome.min.css">
  18.     <style>
  19.         html {
  20.             overflow-y: scroll;
  21.         }
  23.         body {
  24.             padding-top: 50px;
  25.         }
  27.         #todo-list {
  28.             margin-bottom: 30px;
  29.         }
  31.         #todo-form {
  32.             margin-bottom: 50px;
  33.         }
  34.     </style>
  36.     <!-- SPELLS -->
  37.     <script src="//ajax.googleapis.com/ajax/libs/angularjs/1.2.16/angular.min.js"></script>
  38.     <!-- load angular -->
  40.     <script src="js/controllers/main.js"></script>
  41.     <!-- load up our controller -->
  42.     <script src="js/services/todos.js"></script>
  43.     <!-- load our todo service -->
  44.     <script src="js/core.js"></script>
  45.     <!-- load our main application -->
  47. </head>
  48. <!-- SET THE CONTROLLER -->
  50. <body ng-controller="mainController">
  51.     <div class="container">
  53.         <!-- HEADER AND TODO COUNT -->
  54.         <div class="jumbotron text-center">
  55.             <h1>I'm a Todo-aholic <span class="label label-info">{{ todos.length }}</span></h1>
  56.         </div>
  58.         <!-- TODO LIST -->
  59.         <div id="todo-list" class="row">
  60.             <div class="col-sm-4 col-sm-offset-4">
  64.                 <!-- LOOP OVER THE TODOS IN $scope.todos -->
  65.                 <div class="checkbox" ng-repeat="todo in todos">
  66.                     <label>
  67.                         <input type="checkbox" ng-click="deleteTodo(todo._id)"> {{ todo.text }}
  68.                     </label>
  69.                 </div>
  71.                 <p class="text-center" ng-show="loading">
  72.                     <span class="fa fa-spinner fa-spin fa-3x"></span>
  73.                 </p>
  75.             </div>
  76.         </div>
  78.         <!-- FORM TO CREATE TODOS -->
  79.         <div id="todo-form" class="row">
  80.             <div class="col-sm-8 col-sm-offset-2 text-center">
  81.                 <form>
  82.                     <div class="form-group">
  84.                         <!-- BIND THIS VALUE TO formData.text IN ANGULAR -->
  85.                         <input type="text" class="form-control input-lg text-center" placeholder="I want to buy a puppy that will love me forever" ng-model="formData.text">
  86.                     </div>
  88.                     <!-- createToDo() WILL CREATE NEW TODOS -->
  89.                     <button type="submit" class="btn btn-primary btn-lg" ng-click="createTodo()">Add</button>
  90.                 </form>
  91.             </div>
  92.         </div>
  94.         <div class="text-center text-muted">
  95.             <p>A demo by <a href="http://scotch.io">Scotch</a>.</p>
  96.             <p>Read the <a href="http://scotch.io/tutorials/javascript/creating-a-single-page-todo-app-with-node-and-angular">tutorial</a>.</p>
  97.         </div>
  99.     </div>
  101. </body>
  103. </html>

访问 http://mean.jimmysong.io 可以看到如下界面，我在其中添加几条todo：

TODO应用的Web页面

注：Todo中的文字来自What does the fox say？

测试完成后可以使用下面的命令将mean chart推送的本地chart仓库中。

在mean目录下执行：

  1. helm package .

再次刷新http://localhost:8879将可以看到如下三个chart：

  • mean
    • mean-0.1.3
  • mongodb
    • mongodb-0.4.17
  • mychart
    • mychart-0.1.0

参考