部署 DataEase 集群

1 准备工作

DataEase 环境的搭建需要准备以下服务器：

  • DataEase-1 节点，IP 为 10.1.11.5
  • DataEase-2 节点，IP 为 10.1.11.84
  • VIP：10.1.11.137

2 环境要求

部署 DataEase 服务器要求：

  • 操作系统：CentOS 7.x
  • CPU/内存：4 核 8G
  • 磁盘空间：500G

3 配置文件

在安装前需要离线下载 DataEase 最新安装包并传输至服务器内，且需要对 DataEase 运行时所需的一些配置文件进行修改；
进入 DataEase 安装包解压目录下，修改 install.conf 文件，将 DE_ENGINE_MODE 设置为 cluster，将 VIP 地址和映射的 MySQL 服务端口等信息填入对应的 MySQL 相关配置信息中，且 DE_EXTERNAL_MYSQL 设置为 true。

修改 dataease/templates/dataease.properties 文件，加入 Redis 相关设置。根据实际 Redis 的配置放开对应的参数，并填入对应的信息即可，如下所示：

  1. spring.cache.type=redis
  3. #redis 公共配置
  4. spring.redis.timeout=10000
  5. spring.redis.lettuce.pool.max-active=8
  6. spring.redis.lettuce.pool.max-wait=-1
  7. spring.redis.lettuce.pool.max-idle=8
  9. #单机模式 redis 配置
  10. #spring.redis.database=0
  11. #spring.redis.host=10.1.11.10
  12. #spring.redis.port=6379
  13. #spring.redis.password=admin123456
  15. #哨兵模式 redis 配置
  16. #spring.redis.sentinel.master=mymaster
  17. #spring.redis.sentinel.nodes=10.1.11.10:6379,10.1.11.10:6380,10.1.11.10:6381
  18. #spring.redis.sentinel.password=admin123456
  20. #cluster 模式 redis 配置
  21. spring.redis.cluster.nodes=10.1.11.10:6379,10.1.11.10:6380,10.1.11.10:6381,10.1.11.10:6382,10.1.11.10:6383,10.1.11.10:6384
  22. spring.redis.cluster.max-redirects=3
  23. spring.redis.password=admin123456

4 准备公共文件目录

安装 NFS 服务的软件包：

  1. yum install -y nfs-utils

创建挂载目录：

  1. mkdir -p /opt/dataease/data/kettle /opt/dataease/data/static-resource  /opt/dataease/plugins/thirdpart

挂载：

  1. echo "10.1.11.64:/opt/kettle /opt/dataease/data/kettle nfs defaults 0 0" >> /etc/fstab
  2. echo "10.1.11.64:/opt/plugins/thirdpart /opt/dataease/plugins/thirdpart nfs defaults 0 0" >> /etc/fstab
  3. echo "10.1.11.64:/opt/static-resource /opt/dataease/data/static-resource nfs defaults 0 0" >> /etc/fstab
  4. mount -a

5 部署服务

执行安装包下的安装文件进行服务的部署：

  1. bash install.sh

6 其他设置

6.1 设置 demo 数据源

当 DataEase 服务启动完后，在浏览器中访问 VIP 即可访问 DataEase 控制台，默认登录信息：

  1. 登录用户： admin
  2. 登录密码： dataease

登录控制台后，进入【数据源】页面，在左侧【MySQL】下选择【demo】数据源，点击最下方的【编辑】按钮编辑【demo】数据源；
将【主机名/IP 地址】改为 VIP，【数据库】、【用户名】、【密码】、【端口】等根据实际情况设置，最后点击【保存】按钮。

设置 demo 数据源

6.2 设置引擎

进入【系统管理】页面，点击左侧的【系统参数】，在 Tab 页中选择【引擎设置】，将 Doris FE 节点的相关信息填入并保存。

设置引擎

6.3 Kettle 设置

进入【系统管理】页面，点击左侧的【系统参数】，在 Tab 页中选择【Kettle 设置】，点击【添加 Kettle 服务】，将各个 Kettle 节点的相关信息填入并保存。

Kettle 设置