我的书签
添加书签
移除书签负载均衡
当部署多个 FE 节点时，用户可以在多个 FE 之上部署负载均衡层来实现 Doris 的高可用。
代码实现
自己在应用层代码进行重试和负载均衡。比如发现一个连接挂掉，就自动在其他连接上进行重试。应用层代码重试需要应用自己配置多个 doris 前端节点地址。
JDBC Connector
如果使用 mysql jdbc connector 来连接 Doris，可以使用 jdbc 的自动重试机制:
jdbc:mysql:loadbalance://[host:port],[host:port].../[database][?propertyName1][=propertyValue1][&propertyName2][=propertyValue
详细可以参考Mysql官网文档
ProxySQL 方式
ProxySQL是灵活强大的MySQL代理层, 是一个能实实在在用在生产环境的MySQL中间件，可以实现读写分离，支持 Query 路由功能，支持动态指定某个 SQL 进行 cache，支持动态加载配置、故障切换和一些 SQL的过滤功能。
Doris 的 FE 进程负责接收用户连接和查询请求，其本身是可以横向扩展且高可用的，但是需要用户在多个 FE 上架设一层 proxy，来实现自动的连接负载均衡。
安装ProxySQL （yum方式）
配置yum源# vim /etc/yum.repos.d/proxysql.repo[proxysql_repo]name= ProxySQL YUM repositorybaseurl=http://repo.proxysql.com/ProxySQL/proxysql-1.4.x/centos/\$releasevergpgcheck=1gpgkey=http://repo.proxysql.com/ProxySQL/repo_pub_key执行安装# yum clean all# yum makecache# yum -y install proxysql查看版本# proxysql --versionProxySQL version 1.4.13-15-g69d4207, codename Truls设置开机自启动# systemctl enable proxysql# systemctl start proxysql# systemctl status proxysql启动后会监听两个端口， 默认为6032和6033。6032端口是ProxySQL的管理端口，6033是ProxySQL对外提供服务的端口 (即连接到转发后端的真正数据库的转发端口)。# netstat -tunlpActive Internet connections (only servers)Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program nametcp 0 0 0.0.0.0:6032 0.0.0.0:* LISTEN 23940/proxysqltcp 0 0 0.0.0.0:6033 0.0.0.0:* LISTEN
ProxySQL 配置
ProxySQL 有配置文件 /etc/proxysql.cnf 和配置数据库文件/var/lib/proxysql/proxysql.db。这里需要特别注意：如果存在如果存在"proxysql.db"文件(在/var/lib/proxysql目录下)，则 ProxySQL 服务只有在第一次启动时才会去读取proxysql.cnf文件并解析；后面启动会就不会读取proxysql.cnf文件了！如果想要让proxysql.cnf 文件里的配置在重启 proxysql 服务后生效(即想要让 proxysql 重启时读取并解析 proxysql.cnf配置文件)，则需要先删除 /var/lib/proxysql/proxysql.db数据库文件，然后再重启 proxysql 服务。这样就相当于初始化启动 proxysql 服务了，会再次生产一个纯净的 proxysql.db 数据库文件(如果之前配置了 proxysql 相关路由规则等，则就会被抹掉)
查看及修改配置文件
这里主要是几个参数，在下面已经注释出来了，可以根据自己的需要进行修改
# egrep -v "^#|^$" /etc/proxysql.cnfdatadir="/var/lib/proxysql" #数据目录admin_variables={admin_credentials="admin:admin" #连接管理端的用户名与密码mysql_ifaces="0.0.0.0:6032" #管理端口，用来连接proxysql的管理数据库}mysql_variables={threads=4 #指定转发端口开启的线程数量max_connections=2048default_query_delay=0default_query_timeout=36000000have_compress=truepoll_timeout=2000interfaces="0.0.0.0:6033" #指定转发端口，用于连接后端mysql数据库的，相当于代理作用default_schema="information_schema"stacksize=1048576server_version="5.5.30" #指定后端mysql的版本connect_timeout_server=3000monitor_username="monitor"monitor_password="monitor"monitor_history=600000monitor_connect_interval=60000monitor_ping_interval=10000monitor_read_only_interval=1500monitor_read_only_timeout=500ping_interval_server_msec=120000ping_timeout_server=500commands_stats=truesessions_sort=trueconnect_retries_on_failure=10}mysql_servers =()mysql_users:()mysql_query_rules:()scheduler=()mysql_replication_hostgroups=()
连接 ProxySQL 管理端口测试
# mysql -uadmin -padmin -P6032 -hdoris01查看main库（默认登陆后即在此库）的global_variables表信息MySQL [(none)]> show databases;+-----+---------------+-------------------------------------+| seq | name | file |+-----+---------------+-------------------------------------+| 0 | main | || 2 | disk | /var/lib/proxysql/proxysql.db || 3 | stats | || 4 | monitor | || 5 | stats_history | /var/lib/proxysql/proxysql_stats.db |+-----+---------------+-------------------------------------+5 rows in set (0.000 sec)MySQL [(none)]> use main;Reading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changedMySQL [main]> show tables;+--------------------------------------------+| tables |+--------------------------------------------+| global_variables || mysql_collations || mysql_group_replication_hostgroups || mysql_query_rules || mysql_query_rules_fast_routing || mysql_replication_hostgroups || mysql_servers || mysql_users || proxysql_servers || runtime_checksums_values || runtime_global_variables || runtime_mysql_group_replication_hostgroups || runtime_mysql_query_rules || runtime_mysql_query_rules_fast_routing || runtime_mysql_replication_hostgroups || runtime_mysql_servers || runtime_mysql_users || runtime_proxysql_servers || runtime_scheduler || scheduler |+--------------------------------------------+20 rows in set (0.000 sec)
ProxySQL 配置后端 Doris FE
使用 insert 语句添加主机到 mysql_servers 表中，其中：hostgroup_id 为10表示写组，为20表示读组，我们这里不需要读写分离，无所谓随便设置哪一个都可以。
[root@mysql-proxy ~]# mysql -uadmin -padmin -P6032 -h127.0.0.1............MySQL [(none)]> insert into mysql_servers(hostgroup_id,hostname,port) values(10,'192.168.9.211',9030);Query OK, 1 row affected (0.000 sec)MySQL [(none)]> insert into mysql_servers(hostgroup_id,hostname,port) values(10,'192.168.9.212',9030);Query OK, 1 row affected (0.000 sec)MySQL [(none)]> insert into mysql_servers(hostgroup_id,hostname,port) values(10,'192.168.9.213',9030);Query OK, 1 row affected (0.000 sec)如果在插入过程中，出现报错：ERROR 1045 (#2800): UNIQUE constraint failed: mysql_servers.hostgroup_id, mysql_servers.hostname, mysql_servers.port说明可能之前就已经定义了其他配置，可以清空这张表 或者 删除对应host的配置MySQL [(none)]> select * from mysql_servers;MySQL [(none)]> delete from mysql_servers;Query OK, 6 rows affected (0.000 sec)查看这3个节点是否插入成功，以及它们的状态。MySQL [(none)]> select * from mysql_servers\G;*************************** 1. row ***************************hostgroup_id: 10hostname: 192.168.9.211port: 9030status: ONLINEweight: 1compression: 0max_connections: 1000max_replication_lag: 0use_ssl: 0max_latency_ms: 0comment:*************************** 2. row ***************************hostgroup_id: 10hostname: 192.168.9.212port: 9030status: ONLINEweight: 1compression: 0max_connections: 1000max_replication_lag: 0use_ssl: 0max_latency_ms: 0comment:*************************** 3. row ***************************hostgroup_id: 10hostname: 192.168.9.213port: 9030status: ONLINEweight: 1compression: 0max_connections: 1000max_replication_lag: 0use_ssl: 0max_latency_ms: 0comment:6 rows in set (0.000 sec)ERROR: No query specified如上修改后，加载到RUNTIME，并保存到disk，下面两步非常重要，不然退出以后你的配置信息就没了，必须保存MySQL [(none)]> load mysql servers to runtime;Query OK, 0 rows affected (0.006 sec)MySQL [(none)]> save mysql servers to disk;Query OK, 0 rows affected (0.348 sec)
监控Doris FE节点配置
添 doris fe 节点之后，还需要监控这些后端节点。对于后端多个FE高可用负载均衡环境来说，这是必须的，因为 ProxySQL 需要通过每个节点的 read_only 值来自动调整
它们是属于读组还是写组。
首先在后端master主数据节点上创建一个用于监控的用户名
在doris fe master主数据库节点行执行：# mysql -P9030 -uroot -pmysql> create user monitor@'192.168.9.%' identified by 'P@ssword1!';Query OK, 0 rows affected (0.03 sec)mysql> grant ADMIN_PRIV on *.* to monitor@'192.168.9.%';Query OK, 0 rows affected (0.02 sec)然后回到mysql-proxy代理层节点上配置监控# mysql -uadmin -padmin -P6032 -h127.0.0.1MySQL [(none)]> set mysql-monitor_username='monitor';Query OK, 1 row affected (0.000 sec)MySQL [(none)]> set mysql-monitor_password='P@ssword1!';Query OK, 1 row affected (0.000 sec)修改后，加载到RUNTIME，并保存到diskMySQL [(none)]> load mysql variables to runtime;Query OK, 0 rows affected (0.001 sec)MySQL [(none)]> save mysql variables to disk;Query OK, 94 rows affected (0.079 sec)验证监控结果：ProxySQL监控模块的指标都保存在monitor库的log表中。以下是连接是否正常的监控(对connect指标的监控)：注意：可能会有很多connect_error，这是因为没有配置监控信息时的错误，配置后如果connect_error的结果为NULL则表示正常。MySQL [(none)]> select * from mysql_server_connect_log;+---------------+------+------------------+-------------------------+---------------+| hostname | port | time_start_us | connect_success_time_us | connect_error |+---------------+------+------------------+-------------------------+---------------+| 192.168.9.211 | 9030 | 1548665195883957 | 762 | NULL || 192.168.9.212 | 9030 | 1548665195894099 | 399 | NULL || 192.168.9.213 | 9030 | 1548665195904266 | 483 | NULL || 192.168.9.211 | 9030 | 1548665255883715 | 824 | NULL || 192.168.9.212 | 9030 | 1548665255893942 | 656 | NULL || 192.168.9.211 | 9030 | 1548665495884125 | 615 | NULL || 192.168.9.212 | 9030 | 1548665495894254 | 441 | NULL || 192.168.9.213 | 9030 | 1548665495904479 | 638 | NULL || 192.168.9.211 | 9030 | 1548665512917846 | 487 | NULL || 192.168.9.212 | 9030 | 1548665512928071 | 994 | NULL || 192.168.9.213 | 9030 | 1548665512938268 | 613 | NULL |+---------------+------+------------------+-------------------------+---------------+20 rows in set (0.000 sec)以下是对心跳信息的监控(对ping指标的监控)MySQL [(none)]> select * from mysql_server_ping_log;+---------------+------+------------------+----------------------+------------+| hostname | port | time_start_us | ping_success_time_us | ping_error |+---------------+------+------------------+----------------------+------------+| 192.168.9.211 | 9030 | 1548665195883407 | 98 | NULL || 192.168.9.212 | 9030 | 1548665195885128 | 119 | NULL |...........| 192.168.9.213 | 9030 | 1548665415889362 | 106 | NULL || 192.168.9.213 | 9030 | 1548665562898295 | 97 | NULL |+---------------+------+------------------+----------------------+------------+110 rows in set (0.001 sec)read_only日志此时也为空(正常来说，新环境配置时，这个只读日志是为空的)MySQL [(none)]> select * from mysql_server_read_only_log;Empty set (0.000 sec)3个节点都在hostgroup_id=10的组中。现在，将刚才mysql_replication_hostgroups表的修改加载到RUNTIME生效。MySQL [(none)]> load mysql servers to runtime;Query OK, 0 rows affected (0.003 sec)MySQL [(none)]> save mysql servers to disk;Query OK, 0 rows affected (0.361 sec)现在看结果MySQL [(none)]> select hostgroup_id,hostname,port,status,weight from mysql_servers;+--------------+---------------+------+--------+--------+| hostgroup_id | hostname | port | status | weight |+--------------+---------------+------+--------+--------+| 10 | 192.168.9.211 | 9030 | ONLINE | 1 || 20 | 192.168.9.212 | 9030 | ONLINE | 1 || 20 | 192.168.9.213 | 9030 | ONLINE | 1 |+--------------+---------------+------+--------+--------+3 rows in set (0.000 sec)
配置Doris用户
上面的所有配置都是关于后端 Doris FE 节点的，现在可以配置关于 SQL 语句的，包括：发送 SQL 语句的用户、SQL 语句的路由规则、SQL 查询的缓存、SQL 语句的重写等等。
本小节是 SQL 请求所使用的用户配置，例如 root 用户。这要求我们需要先在后端 Doris FE 节点添加好相关用户。这里以 root 和 doris 两个用户名为例.
首先，在Doris FE master主数据库节点上执行：# mysql -P9030 -uroot -p.........mysql> create user doris@'%' identified by 'P@ssword1!';Query OK, 0 rows affected, 1 warning (0.04 sec)mysql> grant ADMIN_PRIV on *.* to doris@'%';Query OK, 0 rows affected, 1 warning (0.03 sec)然后回到mysql-proxy代理层节点，配置mysql_users表，将刚才的两个用户添加到该表中。admin> insert into mysql_users(username,password,default_hostgroup) values('root','',10);Query OK, 1 row affected (0.001 sec)admin> insert into mysql_users(username,password,default_hostgroup) values('doris','P@ssword1!',10);Query OK, 1 row affected (0.000 sec)加载用户到运行环境中，并将用户信息保存到磁盘admin> load mysql users to runtime;Query OK, 0 rows affected (0.001 sec)admin> save mysql users to disk;Query OK, 0 rows affected (0.108 sec)mysql_users表有不少字段，最主要的三个字段为username、password和default_hostgroup：- username：前端连接ProxySQL，以及ProxySQL将SQL语句路由给MySQL所使用的用户名。- password：用户名对应的密码。可以是明文密码，也可以是hash密码。如果想使用hash密码，可以先在某个MySQL节点上执行select password(PASSWORD)，然后将加密结果复制到该字段。- default_hostgroup：该用户名默认的路由目标。例如，指定root用户的该字段值为10时，则使用root用户发送的SQL语句默认情况下将路由到hostgroup_id=10组中的某个节点。admin> select * from mysql_users\G*************************** 1. row ***************************username: rootpassword:active: 1use_ssl: 0default_hostgroup: 10default_schema: NULLschema_locked: 0transaction_persistent: 1fast_forward: 0backend: 1frontend: 1max_connections: 10000*************************** 2. row ***************************username: dorispassword: P@ssword1!active: 1use_ssl: 0default_hostgroup: 10default_schema: NULLschema_locked: 0transaction_persistent: 1fast_forward: 0backend: 1frontend: 1max_connections: 100002 rows in set (0.000 sec)虽然这里没有详细介绍mysql_users表，但只有active=1的用户才是有效的用户。MySQL [(none)]> load mysql users to runtime;Query OK, 0 rows affected (0.001 sec)MySQL [(none)]> save mysql users to disk;Query OK, 0 rows affected (0.123 sec)这样就可以通过sql客户端，使用doris的用户名密码去连接了ProxySQL了
通过 ProxySQL 连接 Doris 进行测试
下面，分别使用 root 用户和 doris 用户测试下它们是否能路由到默认的 hostgroup_id=10 (它是一个写组)读数据。下面是通过转发端口 6033 连接的，连接的是转发到后端真正的数据库!
#mysql -uroot -p -P6033 -hdoris01 -e "show databases;"Enter password:ERROR 9001 (HY000) at line 1: Max connect timeout reached while reaching hostgroup 10 after 10000ms这个时候发现出错，并没有转发到后端真正的doris fe上通过日志看到有set autocommit=0 这样开启事务检查配置发现：mysql-forward_autocommit=falsemysql-autocommit_false_is_transaction=false我们这里不需要读写分离，只需要将这两个参数通过下面语句直接搞成true就可以了mysql> UPDATE global_variables SET variable_value='true' WHERE variable_name='mysql-forward_autocommit';Query OK, 1 row affected (0.00 sec)mysql> UPDATE global_variables SET variable_value='true' WHERE variable_name='mysql-autocommit_false_is_transaction';Query OK, 1 row affected (0.01 sec)mysql> LOAD MYSQL VARIABLES TO RUNTIME;Query OK, 0 rows affected (0.00 sec)mysql> SAVE MYSQL VARIABLES TO DISK;Query OK, 98 rows affected (0.12 sec)然后我们在重新试一下，显示成功[root@doris01 ~]# mysql -udoris -pP@ssword1! -P6033 -h192.168.9.211 -e "show databases;"Warning: Using a password on the command line interface can be insecure.+--------------------+| Database |+--------------------+| doris_audit_db || information_schema || retail |+--------------------+
OK，到此就结束了，你就可以用 Mysql 客户端，JDBC 等任何连接 mysql 的方式连接 ProxySQL 去操作你的 doris 了
Nginx TCP反向代理方式
概述
Nginx能够实现HTTP、HTTPS协议的负载均衡，也能够实现TCP协议的负载均衡。那么，问题来了，可不可以通过Nginx实现Apache Doris数据库的负载均衡呢？答案是：可以。接下来，就让我们一起探讨下如何使用Nginx实现Apache Doris的负载均衡。
环境准备
注意：使用Nginx实现Apache Doris数据库的负载均衡，前提是要搭建Apache Doris的环境，Apache Doris FE的IP和端口分别如下所示, 这里我是用一个FE来做演示的，多个FE只需要在配置里添加多个FE的IP地址和端口即可
通过Nginx访问MySQL的Apache Doris和端口如下所示。
IP: 172.31.7.119端口: 9030
安装依赖
sudo apt-get install build-essentialsudo apt-get install libpcre3 libpcre3-devsudo apt-get install zlib1g-devsudo apt-get install openssl libssl-dev
安装Nginx
sudo wget http://nginx.org/download/nginx-1.18.0.tar.gzsudo tar zxvf nginx-1.18.0.tar.gzcd nginx-1.18.0sudo ./configure --prefix=/usr/local/nginx --with-stream --with-http_ssl_module --with-http_gzip_static_module --with-http_stub_status_modulesudo make && make install
配置反向代理
这里是新建了一个配置文件
vim /usr/local/nginx/conf/default.conf
然后在里面加上下面的内容
events {worker_connections 1024;}stream {upstream mysqld {hash $remote_addr consistent;server 172.31.7.119:9030 weight=1 max_fails=2 fail_timeout=60s;##注意这里如果是多个FE，加载这里就行了}###这里是配置代理的端口，超时时间等server {listen 6030;proxy_connect_timeout 30s;proxy_timeout 30s;proxy_pass mysqld;}}
启动Nginx
指定配置文件启动
cd /usr/local/nginx/usr/local/nginx/sbin/nginx -c conf.d/default.conf
验证
mysql -uroot -P6030 -h172.31.7.119
参数解释:-u 指定Doris用户名-p 指定Doris密码,我这里密码是空，所以没有-h 指定Nginx代理服务器IP-P 指定端口
mysql -uroot -P6030 -h172.31.7.119Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 13Server version: 5.1.0 Doris version 0.15.1-rc09-UnknownCopyright (c) 2000, 2022, Oracle and/or its affiliates.Oracle is a registered trademark of Oracle Corporation and/or itsaffiliates. Other names may be trademarks of their respectiveowners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || test |+--------------------+2 rows in set (0.00 sec)mysql> use test;Reading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changedmysql> show tables;+------------------+| Tables_in_test |+------------------+| dwd_product_live |+------------------+1 row in set (0.00 sec)mysql> desc dwd_product_live;+-----------------+---------------+------+-------+---------+---------+| Field | Type | Null | Key | Default | Extra |+-----------------+---------------+------+-------+---------+---------+| dt | DATE | Yes | true | NULL | || proId | BIGINT | Yes | true | NULL | || authorId | BIGINT | Yes | true | NULL | || roomId | BIGINT | Yes | true | NULL | || proTitle | VARCHAR(1024) | Yes | false | NULL | REPLACE || proLogo | VARCHAR(1024) | Yes | false | NULL | REPLACE || shopId | BIGINT | Yes | false | NULL | REPLACE || shopTitle | VARCHAR(1024) | Yes | false | NULL | REPLACE || profrom | INT | Yes | false | NULL | REPLACE || proCategory | BIGINT | Yes | false | NULL | REPLACE || proPrice | DECIMAL(18,2) | Yes | false | NULL | REPLACE || couponPrice | DECIMAL(18,2) | Yes | false | NULL | REPLACE || livePrice | DECIMAL(18,2) | Yes | false | NULL | REPLACE || volume | BIGINT | Yes | false | NULL | REPLACE || addedTime | BIGINT | Yes | false | NULL | REPLACE || offTimeUnix | BIGINT | Yes | false | NULL | REPLACE || offTime | BIGINT | Yes | false | NULL | REPLACE || createTime | BIGINT | Yes | false | NULL | REPLACE || createTimeUnix | BIGINT | Yes | false | NULL | REPLACE || amount | DECIMAL(18,2) | Yes | false | NULL | REPLACE || views | BIGINT | Yes | false | NULL | REPLACE || commissionPrice | DECIMAL(18,2) | Yes | false | NULL | REPLACE || proCostPrice | DECIMAL(18,2) | Yes | false | NULL | REPLACE || proCode | VARCHAR(1024) | Yes | false | NULL | REPLACE || proStatus | INT | Yes | false | NULL | REPLACE || status | INT | Yes | false | NULL | REPLACE || maxPrice | DECIMAL(18,2) | Yes | false | NULL | REPLACE || liveView | BIGINT | Yes | false | NULL | REPLACE || firstCategory | BIGINT | Yes | false | NULL | REPLACE || secondCategory | BIGINT | Yes | false | NULL | REPLACE || thirdCategory | BIGINT | Yes | false | NULL | REPLACE || fourCategory | BIGINT | Yes | false | NULL | REPLACE || minPrice | DECIMAL(18,2) | Yes | false | NULL | REPLACE || liveVolume | BIGINT | Yes | false | NULL | REPLACE || liveClick | BIGINT | Yes | false | NULL | REPLACE || extensionId | VARCHAR(128) | Yes | false | NULL | REPLACE || beginTime | BIGINT | Yes | false | NULL | REPLACE || roomTitle | TEXT | Yes | false | NULL | REPLACE || beginTimeUnix | BIGINT | Yes | false | NULL | REPLACE || nickname | TEXT | Yes | false | NULL | REPLACE |+-----------------+---------------+------+-------+---------+---------+40 rows in set (0.06 sec)
