RDS 5.7三节点企业版提供热点组提交功能,对“电商秒杀”等热点更新场景有大幅性能优化。

前提条件

当前仅RDS for MySQL 5.7三节点企业版1.5.0.4及以上版本支持该功能。

功能设计

“电商秒杀”等业务场景会对某一行数据短时间进行大量并发更新,这种热点操作对数据库的性能有很大的挑战。MySQL传统的更新模式“lock-update-unlock”,性能上基本无法满足实际的需求。业界针对这个问题有很多优化方案:基于缓存的方案不能保证数据一致性,有丢数据和超卖的风险;基于排队的方案仅仅缓解了大并发下的雪崩问题,依然受限于引擎层的lock/unlock性能损耗;预扣减、异步扣减等业务优化,增加了业务逻辑的复杂度,一定程度上也影响了客户体验。

热点组提交功能是RDS三节点企业版自研的特性。用户开启参数后,并为热点更新的SQL添加相关优化器hint,组提交模块会将同一数据行的热点请求自动合并成合适大小的Group,把多次逻辑更新映射成单次物理更新,最终下发到引擎层。该方法彻底的突破了InnoDB引擎层的性能上限,在单行更新的场景下测试,相较原生的MySQL,随着并发数上升,有十倍甚至上百倍的性能提升。

使用方式

热点功能涉及到三种新的优化器hint:

commit_on_success更新成功自动提交必选
rollback_on_fail更新失败自动回滚可选
target_affect_row(1)显式指定该请求只会更新一行,若不符合,更新失败可选

同时需要打开hotspot相关参数:

  1. set global hotspot=ON;
  2. set global hotspot_lock_type=ON;

需要注意的是,只有在打开参数配置的基础上,同时使用commit_on_success的hint,才能激活该功能。 样例SQL如下:

  1. mysql> create table test (id int primary key, data int);
  2. Query OK, 0 rows affected (0.01 sec)
  3. mysql> insert into test values (1, 1);
  4. Query OK, 1 row affected (0.01 sec)
  5. mysql> update /*+ commit_on_success */ test set data = data + 1 where id = 1;
  6. Query OK, 1 row affected (0.00 sec)
  7. Rows matched: 1 Changed: 1 Warnings: 0
  8. mysql> select * from test;
  9. +----+------+
  10. | id | data |
  11. +----+------+
  12. | 1 | 2 |
  13. +----+------+
  14. 1 row in set (0.00 sec)
  15. mysql> update /*+ commit_on_success rollback_on_fail target_affect_row(1) */ test set data = data + 1 where id = 1;
  16. Query OK, 1 row affected (0.00 sec)
  17. Rows matched: 1 Changed: 1 Warnings: 0
  18. mysql> select * from test;
  19. +----+------+
  20. | id | data |
  21. +----+------+
  22. | 1 | 3 |
  23. +----+------+
  24. 1 row in set (0.00 sec)

此外也支持select ... from update的语法,可以直接返回更新后的数据。

  1. mysql> select * from test;
  2. +----+------+
  3. | id | data |
  4. +----+------+
  5. | 1 | 3 |
  6. +----+------+
  7. 1 row in set (0.00 sec)
  8. mysql> select id, data from update /*+ commit_on_success */ test set data = data + 1 where id = 1;
  9. +----+------+
  10. | id | data |
  11. +----+------+
  12. | 1 | 4 |
  13. +----+------+
  14. 1 row in set (0.01 sec)

通过show global status like "%Group_update%"可以查询组提交状态。当Group_update_leader_count增加的时候,说明触发了热点组提交的优化逻辑。

  1. mysql> show global status like "%Group_update%";
  2. +---------------------------------------+-------+
  3. | Variable_name | Value |
  4. +---------------------------------------+-------+
  5. | Group_update_fail_count | 0 |
  6. | Group_update_follower_count | 0 |
  7. | Group_update_free_count | 1 |
  8. | Group_update_gu_leak_count | 0 |
  9. | Group_update_gu_lock_fail_count | 0 |
  10. | Group_update_ignore_count | 0 |
  11. | Group_update_insert_dup | 0 |
  12. | Group_update_leader_count | 2 |
  13. | Group_update_mgr_recycle_queue_length | 0 |
  14. | Group_update_recycle_queue_length | 0 |
  15. | Group_update_reuse_count | 1 |
  16. | Group_update_total_count | 1 |
  17. +---------------------------------------+-------+
  18. 12 rows in set (0.00 sec)

使用限制

  • 只支持基于主键的单行更新。
  • 无热点hint的SQL持有行锁的时间内,热点hint的SQL更新同一行会立刻冲突报错。因此不建议热点非热点混用。

相关参数

参数说明
hotspotON,OFF 热点组提交功能开关。
hotspot_lock_typeON,OFF 热点组提交锁优化开关。一般情况下,hotspot和hotspot_lock_type会同时开启。
hotspot_update_max_wait_time热点组提交Group收集时间,一般保留默认参数即可。
innodb_hotspot_kill_lock_holderON,OFF 带有热点标记的SQL发现行锁被不带热点标记的事务持有后,主动kill持有锁的事务。

性能测试

测试不同并发数下,单行更新性能,统计tps和95%rt。

准备数据:

  1. root@test 03:34:13>create table t1(id int primary key auto_increment, data int);
  2. Query OK, 0 rows affected (0.00 sec)
  3. root@test 03:34:15>insert into t1(data) values (1);
  4. Query OK, 1 row affected (0.00 sec)

压测SQL:

  1. UPDATE /*+ commit_on_success rollback_on_fail target_affect_row(1) */ t1 SET data=data+1 WHERE id=1;

64core 256G实例,测试结果:

线程数hotspot=OFFhotspot=ON
16399.59 tps 0.17 ms3145.12 tps 0.33 ms
415473.29 tps 0.29 ms12009.01 tps 0.35 ms
814906.54 tps 0.58 ms22498.85 tps 0.38 ms
1614930.81 tps 1.12 ms51153.38 tps 0.40 ms
3214032.86 tps 2.38 ms77760.79 tps 0.46 ms
6411334.73 tps 6.04 ms88099.79 tps 0.98 ms
1285912.53 tps 22.15 ms90054.17 tps 1.75 ms
2561869.35 tps 139.29 ms87724.28 tps 3.43 ms
512379.01 tps 1495.24 ms89820.75 tps 6.57 ms

perf