版本历史

SequoiaDB 巨杉数据库是一款金融级分布式关系型数据库，产品引擎采用原生分布式架构，100%兼容 MySQL 语法和协议，支持完整的 ACID 和分布式事务。同时 SequoiaDB 还提供多模（multi-model）数据库存储引擎，原生支持多数据中心容灾机制，是新一代分布式数据库的首选。
本文档中心旨在介绍 SequoiaDB 巨杉数据库的基本概念、数据增删改查的基本语法、数据库运维管理的基本策略，以及性能调优和问题诊断的相关思路。

快速使用SequoiaDB

SequoiaDB version 5.0.1版本说明

v5.0 image

新特性

  • SQL引擎
    • 支持无事务模式，能够实现批量非事务的高性能操作；
    • 完善表、列、主键和索引的修改操作；
    • 支持多实例元数据实时同步，提供高可用能力；
    • Update/Delete/Count/Autocommit 下推优化，提升性能；
    • 支持 Insert … on duplicate key update … 语法；
    • 支持 MySQL 5.7.31；
    • 支持 geometry 空间数据类型；
    • 支持 PARTITION BY 语法；
    • 支持配置安全密码；
  • 支持基于多版本的事务并发控制 ( MVCC, Multi Version Concurrency Contral )
  • 完善全局一致性事务，全面支持会话级 RU、RC、RS、RR多种隔离级别；且事务支持跨引擎的一致性；
  • 支持全局逻辑时间 ( STP 逻辑时间协议 )，全局事务ID和事务快照通过本地逻辑时间生成，没有全局事务中心管理节点，全完分布式的全局事务能力，随着集群规模的增涨，全局事务性能呈线性增涨；
  • Insert/Update/Delete 等支持返回记录数和详细错误信息；
  • 插入数据支持重复键替代( insert … on duplicate replace )；
  • 访问计划实现自动过期清理，以及对 $in 操作进行参数化和缓存；
  • 全文索引支持字符串数组，以及 $or 和 $not 操作；
  • 索引支持 not null 约束；
  • 命令位置参数支持 InstanceID ；
  • 大对象存储支持按时间序进行垂直分区，提升对大对象的存取和管理能力，可以快速按时间进行归档和清理；
  • 大对象List操作支持过滤条件和精准匹配；
  • 重选举支持指定节点在线切换，对外部业务完全透明无影响；
  • 复制日志支持开启全量模式和时间字段，可以通过工具进行增量数据抽取；
  • 多唯一索引的集合支持副本节点并发数据同步和重放；
  • 新版实例元数据同步机制，旧版元数据同步使用 meta_sync 脚本工具实现有诸多限制。新版实例元数据同步使用 mysql 插件引擎实现，简化安装部署，解决旧版同步工具限制问题；
  • 分区组内数据节点心跳支持 UDP/TCP 两种协议，并能实现自动探测和切换；
  • 提供基于 SCRAM-SHA-256 认证机制的安全鉴权协议，可防止重放攻击、网络窃听攻击、数据破解、服务端伪造等；
  • 提供分区组容错熔断机制，通过配置开启错误和风险智能检测，并提供“熔断”、“半容错”和“全容错”三种容错级别，实现高可用；
  • 引入读写分离过期机制，实现“读写分离”和“读我所写”的自动切换，既满足数据的一致性，又实现负载分离；
  • 增加 update one / delete one 功能；
  • 更新符支持用一个字段更新另一个字段；
  • 支持 LOB 并发读写；

性能升级

  • 优化事务锁的性能，提高清理事务老版本的性能；
  • 优化节点启动性能；
  • 优化索引匹配，优先选择 $et 匹配操作字段对应的索引；
  • 优化分区命中算法，提升分区路由性能；
  • SQL引擎
    • 支持部分条件下压，优化部分条件不满足下压时的性能表现；
    • direct_count 模式支持带条件语句，优化带条件 select count 语句的性能表现；
    • 支持 order by/limit 下压，优化 order by/limit 语句的性能表现；
  • 对 snapshot transaction 进行性能优化，减少对业务操作的影响；
  • 全文索引 count 以及访问性能优化；同时优化连接为共享连接，减少 ES 引擎内存开销；
  • 实现多层级内存池模型，提升访问性能；并提供在线内存监控和离线分析能力；

工具优化

  • STP 查询工具 stpq，支持查询 单个STP 节点或 STP 集群状态、同步信息等；
  • SDB Shell 支持安全密码、交互密码和密码无痕迹功能；
  • 导入工具支持空字符串的 Decimal 类型；
  • 导入工具支持将 Decimal 转换为其它类型；
  • 导入工具支持将 null 转换为 Date/Timestamp 类型；
  • 优化 SequoiaFS 启动、停止和参数配置；
  • 支持 TRACE 的结果导出到客户端本地；
  • SAC
    • 提供图形化性能监控工具(SequoiaPerf)，简化端到端的慢查询性能分析；
    • 创建集合支持自增字段；
    • 支持创建全文索引和全文索引操作；
    • 支持”数据库实例”配置修改和同步；
  • Shell 的 File 对象增加 truncate 接口；
  • Shell 增加 IniFile 对象；
  • sdbreplay 支持按周期或指定时间将增量数据输出到文件；

接口变更

  • MySQL兼容
    • 配置项 sequoiadb_use_partition 更名为 sequoiadb_auto_partition ；
    • 废弃配置项 sequoiadb_optimizer_select_count ；
    • 新增配置项 sequoiadb_use_transaction、 sequoiadb_optimizer_options；
  • REST 接口支持返回标准JSON格式；
  • 提供标准 S3 兼容的对象访问接口，实现“桶”和“对象”操作以及“多版本控制”；
  • 提供 SQL 化监控视图对数据库进行监控，可以使用SQL的各种能力灵活筛选和组合监控数据，提升监控的易用性；
  • SQL引擎
    • 配置项 sequoiadb_optimizer_options 增加 direct_sort/direct_limit 项，以控制 order by/limit 是否下压；
    • 增加参数 sequoiadb_rollback_on_timeout ，开启时当事务锁超时回滚整个事务；
    • sdb_sql_ctl 改名为 sdb_mysql_ctl 和 sdb_pg_ctl；
  • 兼容 mongodb 3.x/4.x 协议，可以直接使用 mongodb 驱动进行访问；
  • 全文索引支持Elasticearch 6.8.5版本；
  • 系统 limit 配置支持 stack size，并统一单位为 byte；

新技术创新带来了新的功能，更拓展了使用场景和方式，期待在 SequoiaDB 5.0时代，我们能持续以客户为中心，与金融客户和其他行业客户一同耕耘数据沃土！

注意事项

  • 对于使用了全文检索的环境，升级过程中要同时升级并重启适配器进程。由于 3.0 之后的版本对全文索引相关机制进行了调整优化，如果升级前版本为 3.0，在升级过程中，需要在停数据节点前，先将所有适配器停止，然后再进行节点升级，或者在升级前将全文索引删除，在升级完成后重建。