持久化存储配置说明

目前，Installer 支持以下类型的存储作为存储服务端，为 KubeSphere 提供持久化存储 (更多的存储类型持续更新中)：

• NFS
• Ceph RBD
• GlusterFS
• QingCloud 云平台块存储
• QingStor NeonSAN
• 阿里云块存储
• 腾讯云块存储
• Local Volume (默认，仅部署测试使用)

Installer 对接的开源存储服务端和客户端，以及 CSI 插件，已测试过的版本信息如下：

说明：集群中不可同时存在两个默认存储类型，若要指定默认存储类型前请先确保当前集群中无默认存储类型。

配置文件释义

准备了满足要求的存储服务端后，只需要参考以下表中的参数说明，在 conf/common.yaml 中，根据您存储服务端所支持的存储类型，在配置文件的相应部分参考示例或注释修改对应参数，即可完成集群存储类型的配置。以下对 common.yaml 存储相关的参数配置做简要说明 (参数详解请参考 storage classes )。

Local Volume（仅限开发测试环境）

Local Volume 配置文件（点击展开）

local_volume_enabled: true
local_volume_is_default_class: true
local_volume_storage_class: local
    ···

Local Volume 表示挂载的本地存储设备，如磁盘、分区或目录，仅建议用于测试部署与开发环境，在 conf/common.yaml 配置的释义如下。

NFS

NFS 配置文件（点击展开）

nfs_client_enabled: false
nfs_client_is_default_class: false
# Hostname of the NFS server(ip or hostname)
nfs_server: SHOULD_BE_REPLACED
# Basepath of the mount point
nfs_path: SHOULD_BE_REPLACED
nfs_vers3_enabled: false
nfs_archiveOnDelete: false
    ···

NFS 即网络文件系统，它允许网络中的计算机之间通过 TCP/IP 网络共享资源。需要预先准备 NFS 服务端，支持标准 NFS 协议的文件存储作为 NFS 服务端，例如：

• 阿里云 NAS
• QingCloud vNAS
• 华为云 SFS（NFS 协议的弹性文件服务）
• NetApp
• 以及其它的标准 NFS 协议的文件存储

在 conf/common.yaml 配置的释义如下。

关于在安装前如何配置 QingCloud vNas，本文档在 常见问题 - 安装前如何配置 QingCloud vNas 给出了一个详细的示例供参考，其它云平台的 NFS 存储可参考上述相关文档。

Ceph RBD

Ceph RBD 配置文件（点击展开）

ceph_rbd_enabled: false
ceph_rbd_is_default_class: false
ceph_rbd_storage_class: rbd
# Ceph rbd monitor endpoints, for example
#
# ceph_rbd_monitors:
#   - 172.24.0.1:6789
#   - 172.24.0.2:6789
#   - 172.24.0.3:6789
ceph_rbd_monitors:
  - SHOULD_BE_REPLACED
# ceph admin account name
ceph_rbd_admin_id: admin
# ceph admin secret, for example,
# ceph_rbd_admin_secret: AQAnwihbXo+uDxAAD0HmWziVgTaAdai90IzZ6Q==
ceph_rbd_admin_secret: TYPE_ADMIN_ACCOUNT_HERE
ceph_rbd_pool: rbd
ceph_rbd_user_id: admin
# e.g. ceph_rbd_user_secret: AQAnwihbXo+uDxAAD0HmWziVgTaAdai90IzZ6Q==
ceph_rbd_user_secret: TYPE_ADMIN_SECRET_HERE
ceph_rbd_fsType: ext4
ceph_rbd_imageFormat: 1
# Additional ceph configurations
# ceph_rbd_imageFeatures: layering
    ···

Ceph RBD 是一个分布式存储系统，在 conf/common.yaml 配置的释义如下。

注： 存储类型中创建 secret 所需 ceph secret 如 ceph_rbd_admin_secret 和 ceph_rbd_user_secret 可在 ceph 服务端通过以下命令获得：

$ ceph auth get-key client.admin

GlusterFS

GlusterFS 配置文件（点击展开）

glusterfs_provisioner_enabled: false
glusterfs_provisioner_is_default_class: false
glusterfs_provisioner_storage_class: glusterfs
glusterfs_provisioner_restauthenabled: true
# e.g. glusterfs_provisioner_resturl: http://192.168.0.4:8080
glusterfs_provisioner_resturl: SHOULD_BE_REPLACED
# e.g. glusterfs_provisioner_clusterid: 6a6792ed25405eaa6302da99f2f5e24b
glusterfs_provisioner_clusterid: SHOULD_BE_REPLACED
glusterfs_provisioner_restuser: admin
glusterfs_provisioner_secretName: heketi-secret
glusterfs_provisioner_gidMin: 40000
glusterfs_provisioner_gidMax: 50000
glusterfs_provisioner_volumetype: replicate:2
# e.g. jwt_admin_key: 123456
jwt_admin_key: SHOULD_BE_REPLACED
    ···

GlusterFS 是一个开源的分布式文件系统，配置时需提供 heketi 所管理的 glusterfs 集群，在 conf/common.yaml 配置的释义如下。

注： Glusterfs 存储类型中所需的 glusterfs_provisioner_clusterid 可在 glusterfs 服务端通过以下命令获得：

$ export HEKETI_CLI_SERVER=http://localhost:8080
$ heketi-cli cluster list

QingCloud 云平台块存储

KubeSphere 支持使用 QingCloud 云平台块存储作为平台的存储服务，如果希望体验动态分配 (Dynamic Provisioning) 方式创建存储卷，推荐使用 QingCloud 云平台块存储，平台已集成 QingCloud-CSI 块存储插件支持对接块存储，仅需简单配置即可使用 QingCloud 云平台各种性能的块存储服务，并且支持扩容、拓扑、创建/删除快照以及基于快照创建 PVC。

QingCloud-CSI 块存储插件实现了 CSI 接口，并且支持 KubeSphere 使用 QingCloud 云平台的存储资源。块存储插件部署后，用户在 QingCloud 云平台可创建访问模式 (Access Mode) 为 单节点读写（ReadWriteOnce） 的存储卷并挂载至工作负载，包括以下几种类型：

• 容量型
• 基础型
• SSD 企业型
• 超高性能型
• 企业级分布式块存储 NeonSAN

注意：在 KubeSphere 集群内使用到性能型、超高性能型、企业型或基础型硬盘时，集群的主机类型也应与硬盘的类型保持一致。

在安装 KubeSphere 时配置 QingCloud-CSI 插件的参数说明如下三个表所示，安装配置 QingCloud-CSI 插件和 QingCloud 负载均衡器插件都需要下载 API 密钥来对接 QingCloud API。

在 plugin-qingcloud.yaml 中完成上表中的 API 相关配置后，再修改 QingCloud-CSI 配置安装 QingCloud 块存储插件。

硬盘类型与主机适配性

各区应设置的 minSize, maxSize 和 stepSize 参数

下表中的值对应的格式为：qingcloud_minSize - qingcloud_maxSize，qingcloud_stepSize。

QingCloud 各类型块存储的最低配额

注意，使用 QingCloud 云平台块存储作为存储服务，安装前需要确保用户账号在当前 Zone 资源配额满足最低要求。在没有配置安装 GitLab 和 Harbor 的前提下，Multi-node 安装最少需要 14 块硬盘，请参考以下的最低配额表核对您账号的存储配额，若硬盘数量和容量配额不够请提工单申请配额。

注意，GitLab 和 Harbor 作为可选安装项，若安装前需要配置则需要考虑硬盘数量和容量的配额是否满足要求：Harbor 安装需要额外挂载 5 块硬盘，GitLab 安装需要额外挂载 4 块硬盘，若 KubeSphere 部署在云平台则需要考虑硬盘数量是否满足配额要求。

QingStor NeonSAN

NeonSAN-CSI 插件支持对接青云自研的企业级分布式存储 QingStor NeonSAN 作为存储服务，若您准备好 NeonSAN 物理服务端后，即可在 conf/plugin-qingcloud.yaml 配置 NeonSAN-CSI 插件对接其存储服务端。详见 NeonSAN-CSI 参数释义。

阿里云平台块存储

KubeSphere 支持使用阿里云平台块存储作为平台的存储服务，KubeSphere Installer 已集成 Alibaba Cloud-CSI 块存储插件支持对接阿里云块存储，若您准备在阿里云上搭建具备存储持久化的集群，建议配置此插件使用阿里云块存储进行安装。

安装前请注意：

1. openldap_volume_size 和 redis_volume_size 的默认值为 2Gi， 若使用阿里云平台块存储作为默认存储类型，安装前需要在 conf/common.yaml 更改至最低 10 Gi，否则 PVC 会创建失败。
2. KubeSphere 2.1.1 在 conf/common.yaml 新增的 elasticsearch_master_volume_size 字段来指定 ES master 节点的挂盘大小，默认值为 4 Gi，同理需要在 conf/common.yaml 更改至最低 10 Gi，否则 PVC 会创建失败。
3. 如果还开启了其他插件比如 DevOps，配置方法类似，把相应的 Volume 大小（这里对应就是 jenkins_volume_size）在 conf/common.yaml 设置为最低 10 Gi。

安装完成后，通过执行以下命令来检查存储卷的挂载状态，若 STATUS 均为 Bound，则说明安装正常。

kubectl get pvc -A

腾讯云平台块存储

KubeSphere 支持使用腾讯云平台块存储作为平台的存储服务，平台已集成Tencent Cloud-CSI块存储插件支持对接块存储。

其中，tecentcloud_cbs_api_secret_id ,tecentcloud_cbs_api_secret_key为平台密钥的 base64 编码:

# get tecentcloud_cbs_api_secret_id
echo -n <SecretId> | base64
# get tecentcloud_cbs_api_secret_key
echo -n <SecretKey> | base64

说明：

1. openldap_volume_size 和 redis_volume_size 的默认值为2Gi， 若使用腾讯云平台块存储作为默认存储类型，安装前需要在 conf/common.yaml 更改至最低 10 Gi，否则 PVC 会创建失败。
2. KubeSphere 2.1.1 在 conf/common.yaml 新增的 elasticsearch_master_volume_size 字段来指定 ES master 节点的挂盘大小，默认值为 4Gi，同理需要在 conf/common.yaml 更改至最低 10 Gi，否则 PVC 会创建失败。
3. 如果还开启了其他插件比如 DevOps，配置方法类似，把相应的 volume 大小（这里对应就是jenkins_volume_size）在 conf/common.yaml 设置为最低 10 Gi。

安装完成后，通过执行kubectl get pvc -A来检查CSI插件运行状态，若 STATUS 均为 Bound，则说明安装正常。

kubectl get pvc -A