Rook

Rook是一款云原生环境下的开源分布式存储编排系统,目前已进入CNCF孵化。Rook的官方网站是https://rook.io

Rook是什么?

Rook将分布式存储软件转变为自我管理,自我缩放和自我修复的存储服务。它通过自动化部署,引导、配置、供应、扩展、升级、迁移、灾难恢复、监控和资源管理来实现。 Rook使用基础的云原生容器管理、调度和编排平台提供的功能来履行其职责。

Rook利用扩展点深入融入云原生环境,为调度、生命周期管理、资源管理、安全性、监控和用户体验提供无缝体验。

Rook现在处于alpha状态,并且最初专注于在Kubernetes之上运行Ceph。Ceph是一个分布式存储系统,提供文件、数据块和对象存储,可以部署在大型生产集群中。Rook计划在未来的版本中增加对除Ceph之外的其他存储系统以及Kubernetes之外的其他云原生环境的支持。

部署

可以使用helm或直接用yaml文件两种方式来部署rook operator。

使用helm部署

  1. helm init -i jimmysong/kubernetes-helm-tiller:v2.8.1
  2. helm repo add rook-alpha https://charts.rook.io/alpha
  3. helm install rook-alpha/rook --name rook --namespace rook-system

直接使用yaml文件部署

  1. kubectl apply -f rook-operator.yaml

不论使用那种方式部署的rook operator,都会在rook-agent中看到rook-agent用户无法列出集群中某些资源的错误,可以通过为rook-agent的分配cluster-admin权限临时解决,详见Issue 1472

使用如下yanl文件创建一个ClusterRoleBinding并应用到集群中。

  1. kind: ClusterRoleBinding
  2. apiVersion: rbac.authorization.k8s.io/v1beta1
  3. metadata:
  4. name: rookagent-clusterrolebinding
  5. subjects:
  6. - kind: ServiceAccount
  7. name: rook-agent
  8. namespace: rook-system
  9. roleRef:
  10. kind: ClusterRole
  11. name: cluster-admin
  12. apiGroup: ""

部署rook cluster

创建完rook operator后,我们再部署rook cluster。

rook-cluster.yaml配置如下:

  1. apiVersion: v1
  2. kind: Namespace
  3. metadata:
  4. name: rook
  5. ---
  6. apiVersion: rook.io/v1alpha1
  7. kind: Cluster
  8. metadata:
  9. name: rook
  10. namespace: rook
  11. spec:
  12. versionTag: v0.6.2
  13. dataDirHostPath: /var/lib/rook
  14. storage:
  15. useAllNodes: true
  16. useAllDevices: false
  17. storeConfig:
  18. storeType: bluestore
  19. databaseSizeMB: 1024
  20. journalSizeMB: 1024

注意:需要手动指定versionTag,因为该镜像repo中没有latest标签,如不指定的话Pod将出现镜像拉取错误。

执行下面的命令部署rook集群。

  1. kubectl apply -f rook-cluster.yaml

rook集群运行在rook namespace下,查看rook集群中的pod:

  1. $ kubectl -n rook get pod
  2. NAME READY STATUS RESTARTS AGE
  3. rook-api-848df956bf-q6zf2 1/1 Running 0 4m
  4. rook-ceph-mgr0-cfccfd6b8-cpk5p 1/1 Running 0 4m
  5. rook-ceph-mon0-t496l 1/1 Running 0 6m
  6. rook-ceph-mon1-zcn7v 1/1 Running 0 5m
  7. rook-ceph-mon3-h97qx 1/1 Running 0 3m
  8. rook-ceph-osd-557tn 1/1 Running 0 4m
  9. rook-ceph-osd-74frb 1/1 Running 0 4m
  10. rook-ceph-osd-zf7rg 1/1 Running 1 4m
  11. rook-tools 1/1 Running 0 2m

部署StorageClass

StorageClass rook-block的yaml文件(rook-storage.yaml)如下:

  1. apiVersion: rook.io/v1alpha1
  2. kind: Pool
  3. metadata:
  4. name: replicapool
  5. namespace: rook
  6. spec:
  7. replicated:
  8. size: 1
  9. # For an erasure-coded pool, comment out the replication size above and uncomment the following settings.
  10. # Make sure you have enough OSDs to support the replica size or erasure code chunks.
  11. #erasureCoded:
  12. # dataChunks: 2
  13. # codingChunks: 1
  14. ---
  15. apiVersion: storage.k8s.io/v1
  16. kind: StorageClass
  17. metadata:
  18. name: rook-block
  19. provisioner: rook.io/block
  20. parameters:
  21. pool: replicapool
  22. # Specify the Rook cluster from which to create volumes.
  23. # If not specified, it will use `rook` as the name of the cluster.
  24. # This is also the namespace where the cluster will be
  25. clusterName: rook
  26. # Specify the filesystem type of the volume. If not specified, it will use `ext4`.
  27. # fstype: ext4

我们在下面的示例中将使用rook-block这个StorageClass来创建PV。

工具

部署rook操作工具pod,该工具pod的yaml文件(rook-tools.yaml)如下:

  1. apiVersion: v1
  2. kind: Pod
  3. metadata:
  4. name: rook-tools
  5. namespace: rook-system
  6. spec:
  7. dnsPolicy: ClusterFirstWithHostNet
  8. serviceAccountName: rook-operator
  9. containers:
  10. - name: rook-tools
  11. image: rook/toolbox:master
  12. imagePullPolicy: IfNotPresent
  13. env:
  14. - name: ROOK_ADMIN_SECRET
  15. valueFrom:
  16. secretKeyRef:
  17. name: rook-ceph-mon
  18. key: admin-secret
  19. securityContext:
  20. privileged: true
  21. volumeMounts:
  22. - mountPath: /dev
  23. name: dev
  24. - mountPath: /sys/bus
  25. name: sysbus
  26. - mountPath: /lib/modules
  27. name: libmodules
  28. - name: mon-endpoint-volume
  29. mountPath: /etc/rook
  30. hostNetwork: false
  31. volumes:
  32. - name: dev
  33. hostPath:
  34. path: /dev
  35. - name: sysbus
  36. hostPath:
  37. path: /sys/bus
  38. - name: libmodules
  39. hostPath:
  40. path: /lib/modules
  41. - name: mon-endpoint-volume
  42. configMap:
  43. name: rook-ceph-mon-endpoints
  44. items:
  45. - key: endpoint
  46. path: mon-endpoints

ConfigMapSecret中的配置项内容是自定义的。

使用下面的命令部署工具pod:

  1. kubectl apply -f rook-tools.yaml

这是一个独立的pod,没有使用其他高级的controller来管理,我们将它部署在rook-system的namespace下。

  1. kubectl -n rook exec -it rook-tools bash

使用下面的命令查看rook集群状态。

  1. $ rookctl status
  2. OVERALL STATUS: OK
  3. USAGE:
  4. TOTAL USED DATA AVAILABLE
  5. 37.95 GiB 1.50 GiB 0 B 36.45 GiB
  6. MONITORS:
  7. NAME ADDRESS IN QUORUM STATUS
  8. rook-ceph-mon0 10.254.162.99:6790/0 true UNKNOWN
  9. MGRs:
  10. NAME STATUS
  11. rook-ceph-mgr0 Active
  12. OSDs:
  13. TOTAL UP IN FULL NEAR FULL
  14. 1 1 1 false false
  15. PLACEMENT GROUPS (0 total):
  16. STATE COUNT
  17. none
  18. $ ceph df
  19. GLOBAL:
  20. SIZE AVAIL RAW USED %RAW USED
  21. 38861M 37323M 1537M 3.96
  22. POOLS:
  23. NAME ID USED %USED MAX AVAIL OBJECTS

示例

官方提供了使用rook作为典型的LAMP(Linux + Apache + MySQL + PHP)应用Wordpress的存储后端的示例的yaml文件mysql.yamlwordpress.yaml,使用下面的命令创建。

  1. kubectl apply -f mysql.yaml
  2. kubectl apply -f wordpress.yaml

Wordpress要依赖于MySQL,所以要先创建MySQL。

在创建wordpress的时候可能遇到该错误rook flexvolume failing to attach volumes #1147,该问题尚未解决。

清理

如果使用helm部署,则执行下面的命令:

  1. helm delete --purge rook
  2. helm delete daemonset rook-agent

如果使用yaml文件直接部署,则使用kubectl delete -f加当初使用的yaml文件即可删除集群。

参考