yum工具自动部署集群

可以使用yum工具在CentOS 7+操作系统中快速部署和启动ChubaoFS集群. 该工具的rpm依赖项可通过以下命令安装:

  1. $ yum install http://storage.jd.com/chubaofsrpm/latest/cfs-install-latest-el7.x86_64.rpm
  2. $ cd /cfs/install
  3. $ tree -L 3
  4. .
  5. ├── install_cfs.yml
  6. ├── install.sh
  7. ├── iplist
  8. ├── src
  9. └── template
  10. ├── client.json.j2
  11. ├── console.json.j2
  12. ├── create_vol.sh.j2
  13. ├── datanode.json.j2
  14. ├── grafana
  15. ├── grafana.ini
  16. ├── init.sh
  17. └── provisioning
  18. ├── master.json.j2
  19. ├── metanode.json.j2
  20. └── objectnode.json.j2

可根据实际环境,在 iplist 文件中修改ChubaoFS集群的参数.

  • [master] , [datanode] , [metanode] , [objectnode], [console], [monitor] , [client] 包含了每个模块的成员IP地址。
  • [cfs:vars] 模块定义了所有节点的ssh登陆信息,需要事先将集群中所有节点的登录名和密码进行统一。
  • #master config 模块定义了每个Master节点的启动参数。
参数类型描述是否必需
master_clusterName字符串集群名字
master_listen字符串http服务监听的端口号
master_prof字符串golang pprof 端口号
master_logDir字符串日志文件存储目录
master_logLevel字符串日志级别, 默认为 info
master_retainLogs字符串保留多少条raft日志
master_walDir字符串raft wal日志存储目录
master_storeDir字符串RocksDB数据存储目录.此目录必须存在,如果目录不存在,无法启动服务
master_exporterPort整型prometheus获取监控数据端口
master_metaNodeReservedMem字符串元数据节点预留内存大小,如果剩余内存小于该值,MetaNode变为只读。单位:字节, 默认值:1073741824
  • #datanode config 模块定义了每个DataNode的启动参数。
参数类型描述是否必需
datanode_listen字符串数据节点作为服务端启动TCP监听的端口
datanode_prof字符串数据节点提供HTTP接口所用的端口
datanode_logDir字符串日志存放的路径
datanode_logLevel字符串日志的级别。默认是 info
datanode_raftHeartbeat字符串RAFT发送节点间心跳消息所用的端口
datanode_raftReplica字符串RAFT发送日志消息所用的端口
datanode_raftDir字符串RAFT调测日志存放的路径。默认在二进制文件启动路径
datanode_exporterPort字符串监控系统采集的端口
datanode_disks字符串数组
格式: PATH:RETAIN.
PATH: 磁盘挂载路径.
RETAIN: 该路径下的最小预留空间,剩余空间小于该值即认为磁盘已满,单位:字节。(建议值:20G~50G)
  • #metanode config 模块定义了MetaNode的启动参数。
参数类型描述是否必需 
metanode_listen字符串监听和接受请求的端口 
metanode_prof字符串调试和管理员API接口 
metanode_logLevel字符串日志级别,默认: info 
metanode_metadataDir字符串元数据快照存储目录 
metanode_logDir字符串日志存储目录 
metanode_raftDir字符串raft wal日志目录 
metanode_raftHeartbeatPort字符串raft心跳通信端口 
metanode_raftReplicaPort字符串raft数据传输端口 
metanode_exporterPort字符串prometheus获取监控数据端口 
metanode_totalMem字符串最大可用内存,此值需高于master配置中metaNodeReservedMem的值,单位:字节 
  • #objectnode config 模块定义了ObjectNode的启动参数。
参数类型描述是否必需
objectnode_listen字符串http服务监听的IP地址和端口号
objectnode_domains字符串数组
为S3兼容接口配置域名以支持DNS风格访问资源
格式: DOMAIN
objectnode_logDir字符串日志存放路径
objectnode_logLevel字符串
日志级别.
默认: error
objectnode_exporterPort字符串prometheus获取监控数据端口No
objectnode_enableHTTPS字符串是否支持 HTTPS协议Yes
  • #console config 模块定义了Console控制台的启动参数。
参数类型描述是否必需
console_logDir字符串日志存放路径
console_logLevel字符串日志级别. 默认 info
console_listen字符串控制台服务端口,默认 80
  • #client config 模块定义了fuse客户端的启动参数
参数类型描述是否必需
client_mountPoint字符串挂载点
client_volName字符串卷名称
client_owner字符串卷所有者
client_SizeGB字符串如果卷不存在,则会创建一个该大小的卷,单位:GB
client_logDir字符串日志存放路径
client_logLevel字符串日志级别:debug, info, warn, error,默认 info
client_exporterPort字符串prometheus获取监控数据端口
client_profPort字符串golang pprof调试端口
  1. [master]
  2. 10.196.59.198
  3. 10.196.59.199
  4. 10.196.59.200
  5. [datanode]
  6. ...
  7. [cfs:vars]
  8. ansible_ssh_port=22
  9. ansible_ssh_user=root
  10. ansible_ssh_pass="password"
  11. ...
  12. #master config
  13. ...
  14. #datanode config
  15. ...
  16. datanode_disks = '"/data0:10737418240","/data1:10737418240"'
  17. ...
  18. #metanode config
  19. ...
  20. metanode_totalMem = "28589934592"
  21. ...
  22. #objectnode config
  23. ...
  24. #console config
  25. ...

更多配置介绍请参考 资源管理节点; 元数据节点; 数据节点; 对象存储(ObjectNode); 客户端; 性能监控; Console. 。

install.sh 脚本启动ChubaoFS集群,并确保首先启动Master。

  1. $ bash install.sh -h
  2. Usage: install.sh -r | --role [datanode | metanode | master | objectnode | console | monitor | client | all | createvol ]
  3. $ bash install.sh -r master
  4. $ bash install.sh -r metanode
  5. $ bash install.sh -r datanode
  6. $ bash install.sh -r objectnode
  7. $ bash install.sh -r console
  8. $ bash install.sh -r monitor
  9. $ bash install.sh -r client

全部角色启动后,可以登录到 client 角色所在节点验证挂载点 /cfs/mountpoint 是否已经挂载ChubaoFS文件系统。

在浏览器中打开链接http://consul.prometheus-cfs.local 查看监控系统(监控系统的IP地址已在 iplist 文件的 [monitor] 模块定义).