使用glusterfs做持久化存储

我们复用kubernetes的三台主机做glusterfs存储。

以下步骤参考自：https://www.xf80.com/2017/04/21/kubernetes-glusterfs/（该网站已无法访问）

安装glusterfs

我们直接在物理机上使用yum安装，如果你选择在kubernetes上安装，请参考：https://github.com/gluster/gluster-kubernetes/blob/master/docs/setup-guide.md

  1. # 先安装 gluster 源
  2. $ yum install centos-release-gluster -y
  4. # 安装 glusterfs 组件
  5. $ yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma glusterfs-geo-replication glusterfs-devel
  7. ## 创建 glusterfs 目录
  8. $ mkdir /opt/glusterd
  10. ## 修改 glusterd 目录
  11. $ sed -i 's/var\/lib/opt/g' /etc/glusterfs/glusterd.vol
  13. # 启动 glusterfs
  14. $ systemctl start glusterd.service
  16. # 设置开机启动
  17. $ systemctl enable glusterd.service
  19. #查看状态
  20. $ systemctl status glusterd.service

配置 glusterfs

  1. # 配置 hosts
  3. $ vi /etc/hosts
  4. 172.20.0.113   test-001.jimmysong.io 
  5. 172.20.0.114   test-002.jimmysong.io 
  6. 172.20.0.115   test-003.jimmysong.io
  1. # 开放端口
  2. $ iptables -I INPUT -p tcp --dport 24007 -j ACCEPT
  4. # 创建存储目录
  5. $ mkdir /opt/gfs_data
  1. # 添加节点到 集群
  2. # 执行操作的本机不需要probe 本机
  3. [root@test-001 ~]#
  4. gluster peer probe test-002.jimmysong.io
  5. gluster peer probe test-003.jimmysong.io
  7. # 查看集群状态
  8. $ gluster peer status
  9. Number of Peers: 2
  11. Hostname: test-002.jimmysong.io
  12. Uuid: f25546cc-2011-457d-ba24-342554b51317
  13. State: Peer in Cluster (Connected)
  15. Hostname: test-003.jimmysong.io
  16. Uuid: 42b6cad1-aa01-46d0-bbba-f7ec6821d66d
  17. State: Peer in Cluster (Connected)

配置 volume

GlusterFS中的volume的模式有很多中，包括以下几种：

  • 分布卷（默认模式）：即DHT, 也叫 分布卷: 将文件以hash算法随机分布到 一台服务器节点中存储。
  • 复制模式：即AFR, 创建volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。
  • 条带模式：即Striped, 创建volume 时带 stripe x 数量： 将文件切割成数据块，分别存储到 stripe x 个节点中 ( 类似raid 0 )。
  • 分布式条带模式：最少需要4台服务器才能创建。 创建volume 时 stripe 2 server = 4 个节点： 是DHT 与 Striped 的组合型。
  • 分布式复制模式：最少需要4台服务器才能创建。 创建volume 时 replica 2 server = 4 个节点：是DHT 与 AFR 的组合型。
  • 条带复制卷模式：最少需要4台服务器才能创建。 创建volume 时 stripe 2 replica 2 server = 4 个节点： 是 Striped 与 AFR 的组合型。
  • 三种模式混合： 至少需要8台 服务器才能创建。 stripe 2 replica 2 , 每4个节点 组成一个 组。

这几种模式的示例图参考：CentOS7安装GlusterFS。

因为我们只有三台主机，在此我们使用默认的分布卷模式。请勿在生产环境上使用该模式，容易导致数据丢失。

  1. # 创建分布卷
  2. $ gluster volume create k8s-volume transport tcp test-001.jimmysong.io:/opt/gfs_data test-002.jimmysong.io:/opt/gfs_data test-003.jimmysong.io:/opt/gfs_data force
  4. # 查看volume状态
  5. $ gluster volume info
  6. Volume Name: k8s-volume
  7. Type: Distribute
  8. Volume ID: 9a3b0710-4565-4eb7-abae-1d5c8ed625ac
  9. Status: Created
  10. Snapshot Count: 0
  11. Number of Bricks: 3
  12. Transport-type: tcp
  13. Bricks:
  14. Brick1: test-001.jimmysong.io:/opt/gfs_data
  15. Brick2: test-002.jimmysong.io:/opt/gfs_data
  16. Brick3: test-003.jimmysong.io:/opt/gfs_data
  17. Options Reconfigured:
  18. transport.address-family: inet
  19. nfs.disable: on
  21. # 启动 分布卷
  22. $ gluster volume start k8s-volume

Glusterfs调优

  1. # 开启 指定 volume 的配额
  2. $ gluster volume quota k8s-volume enable
  4. # 限制 指定 volume 的配额
  5. $ gluster volume quota k8s-volume limit-usage / 1TB
  7. # 设置 cache 大小, 默认32MB
  8. $ gluster volume set k8s-volume performance.cache-size 4GB
  10. # 设置 io 线程, 太大会导致进程崩溃
  11. $ gluster volume set k8s-volume performance.io-thread-count 16
  13. # 设置 网络检测时间, 默认42s
  14. $ gluster volume set k8s-volume network.ping-timeout 10
  16. # 设置 写缓冲区的大小, 默认1M
  17. $ gluster volume set k8s-volume performance.write-behind-window-size 1024MB

Kubernetes中配置glusterfs

以下用到的所有yaml和json配置文件可以在../manifests/glusterfs中找到。注意替换其中私有镜像地址为你自己的镜像地址。

kubernetes安装客户端

  1. # 在所有 k8s node 中安装 glusterfs 客户端
  3. $ yum install -y glusterfs glusterfs-fuse
  5. # 配置 hosts
  7. $ vi /etc/hosts
  9. 172.20.0.113   test-001.jimmysong.io
  10. 172.20.0.114   test-002.jimmysong.io
  11. 172.20.0.115   test-003.jimmysong.io

因为我们glusterfs跟kubernetes集群复用主机，因为此这一步可以省去。

配置 endpoints

  1. $ curl -O https://raw.githubusercontent.com/kubernetes/examples/master/staging/volumes/glusterfs/glusterfs-endpoints.json
  3. # 修改 endpoints.json ，配置 glusters 集群节点ip
  4. # 每一个 addresses 为一个 ip 组
  6.     {
  7.       "addresses": [
  8.         {
  9.           "ip": "172.22.0.113"
  10.         }
  11.       ],
  12.       "ports": [
  13.         {
  14.           "port": 1990
  15.         }
  16.       ]
  17.     },
  19. # 导入 glusterfs-endpoints.json
  21. $ kubectl apply -f glusterfs-endpoints.json
  23. # 查看 endpoints 信息
  24. $ kubectl get ep

配置 service

  1. $ curl -O https://raw.githubusercontent.com/kubernetes/examples/master/staging/volumes/glusterfs/glusterfs-service.json
  3. # service.json 里面查找的是 enpointes 的名称与端口，端口默认配置为 1，我改成了1990
  5. # 导入 glusterfs-service.json
  6. $ kubectl apply -f glusterfs-service.json
  8. # 查看 service 信息
  9. $ kubectl get svc

创建测试 pod

  1. $ curl -O https://raw.githubusercontent.com/kubernetes/examples/master/staging/volumes/glusterfs/glusterfs-pod.json
  3. # 编辑 glusterfs-pod.json
  4. # 修改 volumes  下的 path 为上面创建的 volume 名称
  6. "path": "k8s-volume"
  8. # 导入 glusterfs-pod.json
  9. $ kubectl apply -f glusterfs-pod.json
  11. # 查看 pods 状态
  12. $ kubectl get pods               
  13. NAME                             READY     STATUS    RESTARTS   AGE
  14. glusterfs                        1/1       Running   0          1m
  16. # 查看 pods 所在 node
  17. $ kubectl describe pods/glusterfs
  19. # 登陆 node 物理机，使用 df 可查看挂载目录
  20. $ df -h
  21. 172.20.0.113:k8s-volume 1073741824        0 1073741824   0% 172.20.0.113:k8s-volume  1.0T     0  1.0T   0% /var/lib/kubelet/pods/3de9fc69-30b7-11e7-bfbd-8af1e3a7c5bd/volumes/kubernetes.io~glusterfs/glusterfsvol

配置PersistentVolume

PersistentVolume（PV）和 PersistentVolumeClaim（PVC）是kubernetes提供的两种API资源，用于抽象存储细节。管理员关注于如何通过pv提供存储功能而无需关注用户如何使用，同样的用户只需要挂载PVC到容器中而不需要关注存储卷采用何种技术实现。

PVC和PV的关系跟pod和node关系类似，前者消耗后者的资源。PVC可以向PV申请指定大小的存储资源并设置访问模式。

PV属性

  • storage容量
  • 读写属性：分别为ReadWriteOnce：单个节点读写； ReadOnlyMany：多节点只读 ； ReadWriteMany：多节点读写
  1. $ cat glusterfs-pv.yaml
  2. apiVersion: v1
  3. kind: PersistentVolume
  4. metadata:
  5.   name: gluster-dev-volume
  6. spec:
  7.   capacity:
  8.     storage: 8Gi
  9.   accessModes:
  10.     - ReadWriteMany
  11.   glusterfs:
  12.     endpoints: "glusterfs-cluster"
  13.     path: "k8s-volume"
  14.     readOnly: false
  16. # 导入PV
  17. $ kubectl apply -f glusterfs-pv.yaml
  19. # 查看 pv
  20. $ kubectl get pv
  21. NAME                 CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS      CLAIM     STORAGECLASS   REASON    AGE
  22. gluster-dev-volume   8Gi        RWX           Retain          Available                                      3s

PVC属性

  • 访问属性与PV相同
  • 容量：向PV申请的容量 <= PV总容量

配置PVC

  1. $ cat glusterfs-pvc.yaml
  2. kind: PersistentVolumeClaim
  3. apiVersion: v1
  4. metadata:
  5.   name: glusterfs-nginx
  6. spec:
  7.   accessModes:
  8.     - ReadWriteMany
  9.   resources:
  10.     requests:
  11.       storage: 8Gi
  13. # 导入 pvc
  14. $ kubectl apply -f glusterfs-pvc.yaml
  16. # 查看 pvc
  18. $ kubectl get pv
  19. NAME              STATUS    VOLUME               CAPACITY   ACCESSMODES   STORAGECLASS   AGE
  20. glusterfs-nginx   Bound     gluster-dev-volume   8Gi        RWX                          4s

创建 nginx deployment 挂载 volume

  1. $ vi nginx-deployment.yaml
  2. apiVersion: extensions/v1beta1 
  3. kind: Deployment 
  4. metadata: 
  5.   name: nginx-dm
  6. spec: 
  7.   replicas: 2
  8.   template: 
  9.     metadata: 
  10.       labels: 
  11.         name: nginx 
  12.     spec: 
  13.       containers: 
  14.         - name: nginx 
  15.           image: nginx:alpine 
  16.           imagePullPolicy: IfNotPresent
  17.           ports: 
  18.             - containerPort: 80
  19.           volumeMounts:
  20.             - name: gluster-dev-volume
  21.               mountPath: "/usr/share/nginx/html"
  22.       volumes:
  23.       - name: gluster-dev-volume
  24.         persistentVolumeClaim:
  25.           claimName: glusterfs-nginx
  27. # 导入 deployment
  28. $ kubectl apply -f nginx-deployment.yaml 
  30. # 查看 deployment
  31. $ kubectl get pods |grep nginx-dm
  32. nginx-dm-3698525684-g0mvt       1/1       Running   0          6s
  33. nginx-dm-3698525684-hbzq1       1/1       Running   0          6s
  35. # 查看 挂载
  36. $ kubectl exec -it nginx-dm-3698525684-g0mvt -- df -h|grep k8s-volume
  37. 172.20.0.113:k8s-volume         1.0T     0  1.0T   0% /usr/share/nginx/html
  39. # 创建文件 测试
  40. $ kubectl exec -it nginx-dm-3698525684-g0mvt -- touch /usr/share/nginx/html/index.html
  42. $ kubectl exec -it nginx-dm-3698525684-g0mvt -- ls -lt /usr/share/nginx/html/index.html
  43. -rw-r--r-- 1 root root 0 May  4 11:36 /usr/share/nginx/html/index.html
  45. # 验证 glusterfs
  46. # 因为我们使用分布卷，所以可以看到某个节点中有文件
  47. [root@test-001 ~] ls /opt/gfs_data/
  48. [root@test-002 ~] ls /opt/gfs_data/
  49. index.html
  50. [root@test-003 ~] ls /opt/gfs_data/

参考