Etcd解析

Etcd是Kubernetes集群中的一个十分重要的组件，用于保存集群所有的网络配置和对象的状态信息。在后面具体的安装环境中，我们安装的etcd的版本是v3.1.5，整个kubernetes系统中一共有两个服务需要用到etcd用来协同和存储配置，分别是：

  • 网络插件flannel、对于其它网络插件也需要用到etcd存储网络的配置信息
  • kubernetes本身，包括各种对象的状态和元信息配置

注意：flannel操作etcd使用的是v2的API，而kubernetes操作kubernetes使用的v3的API，所以在下面我们执行ectdctl的时候需要设置ECTDCTL_API环境变量，该变量默认值为2。

原理

Etcd使用的是raft一致性算法来实现的，是一款分布式的一致性KV存储，只要用于共享配置和服务发现。关于raft一致性算法请参考该动画演示。

关于Ectd的原理解析请参考Etcd 架构与实现解析。

使用Etcd存储Flannel网络信息

我们在安装Flannel的时候配置了FLANNEL_ETCD_PREFIX="/kube-centos/network"参数，这是Flannel查询etcd的目录地址。

查看Etcd中存储的flannel网络信息：

  1. $ etcdctl --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem ls /kube-centos/network -r
  2. 2018-01-19 18:38:22.768145 I | warning: ignoring ServerName for user-provided CA for backwards compatibility is deprecated
  3. /kube-centos/network/config
  4. /kube-centos/network/subnets
  5. /kube-centos/network/subnets/172.30.31.0-24
  6. /kube-centos/network/subnets/172.30.20.0-24
  7. /kube-centos/network/subnets/172.30.23.0-24

查看flannel的配置：

  1. $ etcdctl --ca-file=/etc/kubernetes/ssl/ca.pem --cert-file=/etc/kubernetes/ssl/kubernetes.pem --key-file=/etc/kubernetes/ssl/kubernetes-key.pem get /kube-centos/network/config
  2. 2018-01-19 18:38:22.768145 I | warning: ignoring ServerName for user-provided CA for backwards compatibility is deprecated
  3. { "Network": "172.30.0.0/16", "SubnetLen": 24, "Backend": { "Type": "host-gw" } }

使用Etcd存储Kubernetes对象信息

Kubernetes使用etcd v3的API操作etcd中的数据。所有的资源对象都保存在/registry路径下，如下：

  1. ThirdPartyResourceData
  2. apiextensions.k8s.io
  3. apiregistration.k8s.io
  4. certificatesigningrequests
  5. clusterrolebindings
  6. clusterroles
  7. configmaps
  8. controllerrevisions
  9. controllers
  10. daemonsets
  11. deployments
  12. events
  13. horizontalpodautoscalers
  14. ingress
  15. limitranges
  16. minions
  17. monitoring.coreos.com
  18. namespaces
  19. persistentvolumeclaims
  20. persistentvolumes
  21. poddisruptionbudgets
  22. pods
  23. ranges
  24. replicasets
  25. resourcequotas
  26. rolebindings
  27. roles
  28. secrets
  29. serviceaccounts
  30. services
  31. statefulsets
  32. storageclasses
  33. thirdpartyresources

如果你还创建了CRD（自定义资源定义），则在此会出现CRD的API。

Etcd V2与V3版本API的区别

Etcd V2和V3之间的数据结构完全不同，互不兼容，也就是说使用V2版本的API创建的数据只能使用V2的API访问，V3的版本的API创建的数据只能使用V3的API访问。这就造成我们访问etcd中保存的flannel的数据需要使用etcdctl的V2版本的客户端，而访问kubernetes的数据需要设置ETCDCTL_API=3环境变量来指定V3版本的API。

Etcd数据备份

我们安装的时候指定的Etcd数据的存储路径是/var/lib/etcd，一定要对该目录做好备份。

参考