YAML 配置

5.0.0-alpha

数据分片

配置项说明

  1. dataSources: # 省略数据源配置，请参考使用手册
  3. rules:
  4. - !SHARDING
  5.   tables: # 数据分片规则配置
  6.     <logic-table-name> (+): # 逻辑表名称
  7.       actualDataNodes (?): # 由数据源名 + 表名组成（参考Inline语法规则）
  8.       databaseStrategy (?): # 分库策略，缺省表示使用默认分库策略，以下的分片策略只能选其一
  9.         standard: # 用于单分片键的标准分片场景
  10.           shardingColumn: # 分片列名称
  11.           shardingAlgorithmName: # 分片算法名称
  12.         complex: # 用于多分片键的复合分片场景
  13.           shardingColumns: #分片列名称，多个列以逗号分隔
  14.           shardingAlgorithmName: # 分片算法名称
  15.         hint: # Hint 分片策略
  16.           shardingAlgorithmName: # 分片算法名称
  17.         none: # 不分片
  18.       tableStrategy: # 分表策略，同分库策略
  19.       keyGenerateStrategy: # 分布式序列策略
  20.         column: # 自增列名称，缺省表示不使用自增主键生成器
  21.         keyGeneratorName: # 分布式序列算法名称
  22.   autoTables: # 自动分片表规则配置
  23.     t_order_auto: # 逻辑表名称
  24.       actualDataSources (?): # 数据源名称
  25.       shardingStrategy: # 切分策略
  26.         standard: # 用于单分片键的标准分片场景
  27.           shardingColumn: # 分片列名称
  28.           shardingAlgorithmName: # 自动分片算法名称
  29.   bindingTables (+): # 绑定表规则列表
  30.     - <logic_table_name_1, logic_table_name_2, ...> 
  31.     - <logic_table_name_1, logic_table_name_2, ...> 
  32.   broadcastTables (+): # 广播表规则列表
  33.     - <table-name>
  34.     - <table-name>
  35.   defaultDatabaseStrategy: # 默认数据库分片策略
  36.   defaultTableStrategy: # 默认表分片策略
  37.   defaultKeyGenerateStrategy: # 默认的分布式序列策略
  39.   # 分片算法配置
  40.   shardingAlgorithms:
  41.     <sharding-algorithm-name> (+): # 分片算法名称
  42.       type: # 分片算法类型
  43.       props: # 分片算法属性配置
  44.       # ...
  46.   # 分布式序列算法配置
  47.   keyGenerators:
  48.     <key-generate-algorithm-name> (+): # 分布式序列算法名称
  49.       type: # 分布式序列算法类型
  50.       props: # 分布式序列算法属性配置
  51.       # ...
  53. props:
  54.   # ...

读写分离

配置项说明

  1. dataSources: # 省略数据源配置，请参考使用手册
  3. rules:
  4. - !REPLICA_QUERY
  5.   dataSources:
  6.     <data-source-name> (+): # 读写分离逻辑数据源名称
  7.       primaryDataSourceName: # 主库数据源名称
  8.       replicaDataSourceNames: 
  9.         - <replica-data_source-name> (+) # 从库数据源名称
  10.       loadBalancerName: # 负载均衡算法名称
  12.   # 负载均衡算法配置
  13.   loadBalancers:
  14.     <load-balancer-name> (+): # 负载均衡算法名称
  15.       type: # 负载均衡算法类型
  16.       props: # 负载均衡算法属性配置
  17.         # ...
  19. props:
  20.   # ...

算法类型的详情，请参见内置负载均衡算法列表。

数据加密

配置项说明

  1. dataSource: # 省略数据源配置，请参考使用手册
  3. rules:
  4. - !ENCRYPT
  5.   tables:
  6.     <table-name> (+): # 加密表名称
  7.       columns:
  8.         <column-name> (+): # 加密列名称
  9.           cipherColumn: # 密文列名称
  10.           assistedQueryColumn (?):  # 查询辅助列名称
  11.           plainColumn (?): # 原文列名称
  12.           encryptorName: # 加密算法名称
  14.   # 加密算法配置
  15.   encryptors:
  16.     <encrypt-algorithm-name> (+): # 加解密算法名称
  17.       type: # 加解密算法类型
  18.       props: # 加解密算法属性配置
  19.         # ...
  21.   queryWithCipherColumn: # 是否使用加密列进行查询。在有原文列的情况下，可以使用原文列进行查询

算法类型的详情，请参见内置加密算法列表。

影子库

配置项说明

  1. dataSources: # 省略数据源配置，请参考使用手册
  3. rules:
  4. - !SHADOW
  5.   column: # 影子字段名
  6.   sourceDataSourceNames: # 影子前数据库名
  7.      # ...
  8.   shadowDataSourceNames: # 对应的影子库名
  9.      # ... 
  11. props:
  12.   # ...

分布式治理

配置项说明

  1. governance:
  2.   name: # 治理名称
  3.   registryCenter: # 注册中心
  4.     type: # 治理持久化类型。如：Zookeeper, etcd
  5.     serverLists: # 治理服务列表。包括 IP 地址和端口号。多个地址用逗号分隔。如: host1:2181,host2:2181 
  6.   overwrite: # 本地配置是否覆盖配置中心配置。如果可覆盖，每次启动都以本地配置为准

ShardingSphere-4.x

数据分片

配置项说明

  1. dataSources: # 数据源配置，可配置多个 data_source_name
  2.   <data_source_name>: # <!!数据库连接池实现类> `!!`表示实例化该类
  3.     driverClassName: # 数据库驱动类名
  4.     url: # 数据库 url 连接
  5.     username: # 数据库用户名
  6.     password: # 数据库密码
  7.     # ... 数据库连接池的其它属性
  9. shardingRule:
  10.   tables: # 数据分片规则配置，可配置多个 logic_table_name
  11.     <logic_table_name>: # 逻辑表名称
  12.       actualDataNodes: # 由数据源名 + 表名组成，以小数点分隔。多个表以逗号分隔，支持 inline 表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点，用于广播表（即每个库中都需要一个同样的表用于关联查询，多为字典表）或只分库不分表且所有库的表结构完全一致的情况
  14.       databaseStrategy: # 分库策略，缺省表示使用默认分库策略，以下的分片策略只能选其一
  15.         standard: # 用于单分片键的标准分片场景
  16.           shardingColumn: # 分片列名称
  17.           preciseAlgorithmClassName: # 精确分片算法类名称，用于 = 和 IN。。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
  18.           rangeAlgorithmClassName: # 范围分片算法类名称，用于 BETWEEN，可选。。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
  19.         complex: # 用于多分片键的复合分片场景
  20.           shardingColumns: # 分片列名称，多个列以逗号分隔
  21.           algorithmClassName: # 复合分片算法类名称。该类需实现 ComplexKeysShardingAlgorithm 接口并提供无参数的构造器
  22.         inline: # 行表达式分片策略
  23.           shardingColumn: # 分片列名称
  24.           algorithmInlineExpression: # 分片算法行表达式，需符合 groovy 语法
  25.         hint: # Hint 分片策略
  26.           algorithmClassName: # Hint 分片算法类名称。该类需实现 HintShardingAlgorithm 接口并提供无参数的构造器
  27.         none: # 不分片
  28.       tableStrategy: # 分表策略，同分库策略
  29.       keyGenerator:
  30.         column: # 自增列名称，缺省表示不使用自增主键生成器
  31.         type: # 自增列值生成器类型，缺省表示使用默认自增列值生成器。可使用用户自定义的列值生成器或选择内置类型：SNOWFLAKE/UUID
  32.         props: # 属性配置, 注意：使用 SNOWFLAKE 算法，需要配置 worker.id 与 max.tolerate.time.difference.milliseconds 属性。若使用此算法生成值作分片值，建议配置 max.vibration.offset 属性
  33.           <property-name>: # 属性名称
  35.   bindingTables: # 绑定表规则列表
  36.     - <logic_table_name1, logic_table_name2, ...>
  37.     - <logic_table_name3, logic_table_name4, ...>
  38.     - <logic_table_name_x, logic_table_name_y, ...>
  39.   broadcastTables: # 广播表规则列表
  40.     - table_name1
  41.     - table_name2
  42.     - table_name_x
  44.   defaultDataSourceName: # 未配置分片规则的表将通过默认数据源定位  
  45.   defaultDatabaseStrategy: # 默认数据库分片策略，同分库策略
  46.   defaultTableStrategy: # 默认表分片策略，同分库策略
  47.   defaultKeyGenerator: # 默认的主键生成算法 如果没有设置,默认为 SNOWFLAKE 算法
  48.     type: # 默认自增列值生成器类型，缺省将使用 org.apache.shardingsphere.core.keygen.generator.impl.SnowflakeKeyGenerator。可使用用户自定义的列值生成器或选择内置类型：SNOWFLAKE/UUID
  49.     props:
  50.       <property-name>: # 自增列值生成器属性配置, 比如 SNOWFLAKE 算法的 worker.id 与 max.tolerate.time.difference.milliseconds
  52.   masterSlaveRules: # 读写分离规则，详见读写分离部分
  53.     <data_source_name>: # 数据源名称，需要与真实数据源匹配，可配置多个 data_source_name
  54.       masterDataSourceName: # 详见读写分离部分
  55.       slaveDataSourceNames: # 详见读写分离部分
  56.       loadBalanceAlgorithmType: # 详见读写分离部分
  57.       props: # 读写分离负载算法的属性配置
  58.         <property-name>: # 属性值
  60. props: # 属性配置
  61.   sql.show: # 是否开启 SQL 显示，默认值: false
  62.   executor.size: # 工作线程数量，默认值: CPU 核数
  63.   max.connections.size.per.query: # 每个查询可以打开的最大连接数量,默认为 1
  64.   check.table.metadata.enabled: # 是否在启动时检查分表元数据一致性，默认值: false

读写分离

配置项说明

  1. dataSources: # 省略数据源配置，与数据分片一致
  3. masterSlaveRule:
  4.   name: # 读写分离数据源名称
  5.   masterDataSourceName: # 主库数据源名称
  6.   slaveDataSourceNames: # 从库数据源名称列表
  7.     - <data_source_name1>
  8.     - <data_source_name2>
  9.     - <data_source_name_x>
  10.   loadBalanceAlgorithmType: # 从库负载均衡算法类型，可选值：ROUND_ROBIN，RANDOM。若 `loadBalanceAlgorithmClassName` 存在则忽略该配置
  11.   props: # 读写分离负载算法的属性配置
  12.     <property-name>: # 属性值

通过 YamlMasterSlaveDataSourceFactory 工厂类创建 DataSource：

  1. DataSource dataSource = YamlMasterSlaveDataSourceFactory.createDataSource(yamlFile);

数据脱敏

配置项说明

  1. dataSource: # 省略数据源配置
  3. encryptRule:
  4.   encryptors:
  5.     <encryptor-name>:
  6.       type: # 加解密器类型，可自定义或选择内置类型：MD5/AES 
  7.       props: # 属性配置, 注意：使用 AES 加密器，需要配置 AES 加密器的 KEY 属性：aes.key.value
  8.         aes.key.value:
  9.   tables:
  10.     <table-name>:
  11.       columns:
  12.         <logic-column-name>:
  13.           plainColumn: # 存储明文的字段
  14.           cipherColumn: # 存储密文的字段
  15.           assistedQueryColumn: # 辅助查询字段，针对 ShardingQueryAssistedEncryptor 类型的加解密器进行辅助查询
  16.           encryptor: # 加密器名字

治理

配置项说明

  1. dataSources: # 省略数据源配置
  2. shardingRule: # 省略分片规则配置
  3. masterSlaveRule: # 省略读写分离规则配置
  4. encryptRule: # 省略数据脱敏规则配置
  6. orchestration:
  7.   name: # 治理实例名称
  8.   overwrite: # 本地配置是否覆盖注册中心配置。如果可覆盖，每次启动都以本地配置为准
  9.   registry: # 注册中心配置
  10.     type: # 配置中心类型。如：zookeeper
  11.     serverLists: # 连接注册中心服务器的列表。包括 IP 地址和端口号。多个地址用逗号分隔。如: host1:2181,host2:2181
  12.     namespace: # 注册中心的命名空间
  13.     digest: # 连接注册中心的权限令牌。缺省为不需要权限验证
  14.     operationTimeoutMilliseconds: # 操作超时的毫秒数，默认 500 毫秒
  15.     maxRetries: # 连接失败后的最大重试次数，默认 3 次
  16.     retryIntervalMilliseconds: # 重试间隔毫秒数，默认 500 毫秒
  17.     timeToLiveSeconds: # 临时节点存活秒数，默认 60 秒

ShardingSphere-3.x

数据分片

配置项说明

  1. # 以下配置截止版本为3.1
  2. # 配置文件中,必须配置的项目为 schemaName,dataSources,并且 shardingRule,masterSlaveRule,配置其中一个(注意,除非 server.yaml 中定义了 Orchestration,否则必须至少有一个 config-xxxx 配置文件),除此之外的其他项目为可选项
  3. schemaName: test # schema 名称,每个文件都是单独的 schema,多个 schema 则是多个 yaml 文件,yaml 文件命名要求是 config-xxxx.yaml 格式,虽然没有强制要求,但推荐名称中的 xxxx 与配置的 schemaName 保持一致,方便维护
  5. dataSources: # 配置数据源列表,必须是有效的 jdbc 配置,目前仅支持 MySQL 与 PostgreSQL,另外通过一些未公开(代码中可查,但可能会在未来有变化)的变量,可以配置来兼容其他支持 JDBC 的数据库,但由于没有足够的测试支持,可能会有严重的兼容性问题,配置时候要求至少有一个
  6.   master_ds_0: # 数据源名称,可以是合法的字符串,目前的校验规则中,没有强制性要求,只要是合法的 yaml 字符串即可,但如果要用于分库分表配置,则需要有有意义的标志(在分库分表配置中详述),以下为目前公开的合法配置项目,不包含内部配置参数
  7.     # 以下参数为必备参数
  8.     url: jdbc:mysql://127.0.0.1:3306/demo_ds_slave_1?serverTimezone=UTC&useSSL=false # 这里的要求合法的 jdbc 连接串即可,目前尚未兼容 MySQL 8.x,需要在 maven 编译时候,升级 MySQL JDBC 版本到 5.1.46 或者 47 版本(不建议升级到 JDBC 的 8.x 系列版本,需要修改源代码,并且无法通过很多测试 case)
  9.     username: root # MySQL 用户名
  10.     password: password # MySQL 用户的明文密码
  11.     # 以下参数为可选参数,给出示例为默认配置,主要用于连接池控制
  12.     connectionTimeoutMilliseconds: 30000 # 连接超时控制
  13.     idleTimeoutMilliseconds: 60000 # 连接空闲时间设置
  14.     maxLifetimeMilliseconds: 0 # 连接的最大持有时间,0 为无限制
  15.     maxPoolSize: 50 # 连接池中最大维持的连接数量
  16.     minPoolSize: 1 # 连接池的最小连接数量
  17.     maintenanceIntervalMilliseconds: 30000 # 连接维护的时间间隔 atomikos 框架需求
  18.   # 以下配置的假设是,3307 是 3306 的从库,3309,3310 是 3308 的从库
  19.   slave_ds_0:
  20.     url: jdbc:mysql://127.0.0.1:3307/demo_ds_slave_1?serverTimezone=UTC&useSSL=false
  21.     username: root
  22.     password: password
  23.   master_ds_1:
  24.     url: jdbc:mysql://127.0.0.1:3308/demo_ds_slave_1?serverTimezone=UTC&useSSL=false
  25.     username: root
  26.     password: password
  27.   slave_ds_1:
  28.     url: jdbc:mysql://127.0.0.1:3309/demo_ds_slave_1?serverTimezone=UTC&useSSL=false
  29.     username: root
  30.     password: password
  31.   slave_ds_1_slave2:
  32.     url: jdbc:mysql://127.0.0.1:3310/demo_ds_slave_1?serverTimezone=UTC&useSSL=false
  33.     username: root
  34.     password: password
  35. masterSlaveRule: # 这里配置这个规则的话,相当于是全局读写分离配置
  36.   name: ds_rw # 名称,合法的字符串即可,但如果涉及到在读写分离的基础上设置分库分表,则名称需要有意义才可以,另外,虽然目前没有强制要求,但主从库配置需要配置在实际关联的主从库上,如果配置的数据源之间主从是断开的状态,那么可能会发生写入的数据对于只读会话无法读取到的问题
  37.   # 如果一个会话发生了写入并且没有提交(显式打开事务),sharding sphere 在后续的路由中,select 都会在主库执行,直到会话提交
  38.   masterDataSourceName: master_ds_0 # 主库的 DataSource 名称
  39.   slaveDataSourceNames: # 从库的 DataSource 列表,至少需要有一个
  40.     - slave_ds_0
  41.   loadBalanceAlgorithmClassName: io.shardingsphere.api.algorithm.masterslave # MasterSlaveLoadBalanceAlgorithm 接口的实现类,允许自定义实现 默认提供两个,配置路径为 io.shardingsphere.api.algorithm.masterslave 下的 RandomMasterSlaveLoadBalanceAlgorithm(随机 Random)与 RoundRobinMasterSlaveLoadBalanceAlgorithm(轮询:次数 % 从库数量)
  42.   loadBalanceAlgorithmType: # 从库负载均衡算法类型，可选值：ROUND_ROBIN，RANDOM。若 loadBalanceAlgorithmClassName 存在则忽略该配置,默认为 ROUND_ROBIN
  44. shardingRule: # sharding 的配置
  45.   # 配置主要分两类,一类是对整个sharding规则所有表生效的默认配置,一个是 sharing 具体某张表时候的配置
  46.   # 首先说默认配置
  47.   masterSlaveRules: # 在 shardingRule 中也可以配置 shardingRule,对分片生效,具体内容与全局 masterSlaveRule 一致,但语法为:
  48.     master_test_0:
  49.       masterDataSourceName: master_ds_0
  50.       slaveDataSourceNames:
  51.         - slave_ds_0
  52.     master_test_1:
  53.       masterDataSourceName: master_ds_1
  54.       slaveDataSourceNames:
  55.         - slave_ds_1
  56.         - slave_ds_1_slave2
  57.   defaultDataSourceName: master_test_0 # 这里的数据源允许是 dataSources 的配置项目或者 masterSlaveRules 配置的名称,配置为 masterSlaveRule 的话相当于就是配置读写分离了
  58.   broadcastTables: # 广播表 这里配置的表列表,对于发生的所有数据变更,都会不经 sharding 处理,而是直接发送到所有数据节点,注意此处为列表,每个项目为一个表名称
  59.     - broad_1
  60.     - broad_2
  61.   bindingTables: # 绑定表,也就是实际上哪些配置的 sharding 表规则需要实际生效的列表,配置为 yaml 列表,并且允许单个条目中以逗号切割,所配置表必须已经配置为逻辑表
  62.     - sharding_t1
  63.     - sharding_t2,sharding_t3
  64.   defaultDatabaseShardingStrategy: # 默认库级别 sharding 规则,对应代码中 ShardingStrategy 接口的实现类,目前支持 none,inline,hint,complex,standard 五种配置 注意此处默认配置仅可以配置五个中的一个
  65.     # 规则配置同样适合表 sharding 配置,同样是在这些算法中选择
  66.     none: # 不配置任何规则,SQL 会被发给所有节点去执行,这个规则没有子项目可以配置
  67.     inline: # 行表达式分片
  68.       shardingColumn: test_id # 分片列名称
  69.       algorithmExpression: master_test_${test_id % 2} # 分片表达式,根据指定的表达式计算得到需要路由到的数据源名称 需要是合法的 groovy 表达式,示例配置中,取余为 0 则语句路由到 master_test_0,取余为 1 则路由到 master_test_1
  70.     hint: # 基于标记的 sharding 分片
  71.       shardingAlgorithm: # 需要是 HintShardingAlgorithm 接口的实现,目前代码中,仅有为测试目的实现的 OrderDatabaseHintShardingAlgorithm,没有生产环境可用的实现
  72.     complex: # 支持多列的 sharding,目前无生产可用实现
  73.       shardingColumns: # 逗号切割的列
  74.       shardingAlgorithm: # ComplexKeysShardingAlgorithm 接口的实现类
  75.     standard: # 单列 sharding 算法,需要配合对应的 preciseShardingAlgorithm,rangeShardingAlgorithm 接口的实现使用,目前无生产可用实现
  76.       shardingColumn: # 列名,允许单列
  77.       preciseShardingAlgorithm: # preciseShardingAlgorithm 接口的实现类
  78.       rangeShardingAlgorithm: # rangeShardingAlgorithm 接口的实现类
  79.   defaultTableStrategy: # 配置参考 defaultDatabaseShardingStrategy,区别在于,inline 算法的配置中,algorithmExpression 的配置算法结果需要是实际的物理表名称,而非数据源名称
  80.   defaultKeyGenerator: # 默认的主键生成算法 如果没有设置,默认为 SNOWFLAKE 算法
  81.     column: # 自增键对应的列名称
  82.     type: # 自增键的类型,主要用于调用内置的主键生成算法有三个可用值:SNOWFLAKE(时间戳 +worker id+ 自增 id),UUID(java.util.UUID 类生成的随机 UUID),LEAF,其中 Snowflake 算法与 UUID 算法已经实现,LEAF 目前(2018-01-14)尚未实现
  83.     className: # 非内置的其他实现了 KeyGenerator 接口的类,需要注意,如果设置这个,就不能设置 type,否则 type 的设置会覆盖 class 的设置
  84.     props:
  85.     # 定制算法需要设置的参数,比如 SNOWFLAKE 算法的 worker.id 与 max.tolerate.time.difference.milliseconds
  86.   tables: # 配置表 sharding 的主要位置
  87.     sharding_t1:
  88.       actualDataNodes: master_test_${0..1}.t_order${0..1} # sharding 表对应的数据源以及物理名称,需要用表达式处理,表示表实际上在哪些数据源存在,配置示例中,意思是总共存在 4 个分片 master_test_0.t_order0,master_test_0.t_order1,master_test_1.t_order0,master_test_1.t_order1
  89.       # 需要注意的是,必须保证设置 databaseStrategy 可以路由到唯一的 dataSource,tableStrategy 可以路由到 dataSource 中唯一的物理表上,否则可能导致错误:一个 insert 语句被插入到多个实际物理表中
  90.       databaseStrategy: # 局部设置会覆盖全局设置,参考 defaultDatabaseShardingStrategy
  91.       tableStrategy: # 局部设置会覆盖全局设置,参考 defaultTableStrategy
  92.       keyGenerator: # 局部设置会覆盖全局设置,参考 defaultKeyGenerator
  93.       logicIndex: # 逻辑索引名称 由于 Oracle,PG 这种数据库中,索引与表共用命名空间,如果接受到 drop index 语句,执行之前,会通过这个名称配置的确定对应的实际物理表名称
  94. props:
  95.   sql.show: # 是否开启 SQL 显示，默认值: false
  96.   acceptor.size: # accept 连接的线程数量,默认为 cpu 核数 2 倍
  97.   executor.size: # 工作线程数量最大，默认值: 无限制
  98.   max.connections.size.per.query: # 每个查询可以打开的最大连接数量,默认为 1
  99.   proxy.frontend.flush.threshold: # proxy 的服务时候,对于单个大查询,每多少个网络包返回一次
  100.   check.table.metadata.enabled: # 是否在启动时检查分表元数据一致性，默认值: false
  101.   proxy.transaction.type: # 默认 LOCAL,proxy 的事务模型 允许 LOCAL,XA,BASE 三个值 LOCAL 无分布式事务,XA 则是采用 atomikos 实现的分布式事务 BASE 目前尚未实现
  102.   proxy.opentracing.enabled: # 是否启用 opentracing
  103.   proxy.backend.use.nio: # 是否采用 netty 的 NIO 机制连接后端数据库,默认 False ,使用 epoll 机制
  104.   proxy.backend.max.connections: # 使用 NIO 而非 epoll 的话,proxy 后台连接每个 netty 客户端允许的最大连接数量(注意不是数据库连接限制) 默认为 8
  105.   proxy.backend.connection.timeout.seconds: # 使用 nio 而非 epoll 的话,proxy 后台连接的超时时间,默认 60s
  106.   check.table.metadata.enabled: # 是否在启动时候,检查 sharing 的表的实际元数据是否一致,默认 False
  108. configMap: # 用户自定义配置
  109.   key1: value1
  110.   key2: value2
  111.   keyx: valuex

读写分离

配置项说明

  1. dataSources: # 省略数据源配置，与数据分片一致
  3. masterSlaveRule:
  4.   name: # 读写分离数据源名称
  5.   masterDataSourceName: # 主库数据源名称
  6.   slaveDataSourceNames: # 从库数据源名称列表
  7.     - <data_source_name1>
  8.     - <data_source_name2>
  9.     - <data_source_name_x>
  10.   loadBalanceAlgorithmClassName: # 从库负载均衡算法类名称。该类需实现 MasterSlaveLoadBalanceAlgorithm 接口且提供无参数构造器
  11.   loadBalanceAlgorithmType: # 从库负载均衡算法类型，可选值：ROUND_ROBIN，RANDOM。若 `loadBalanceAlgorithmClassName` 存在则忽略该配置
  13. props: # 属性配置
  14.   sql.show: # 是否开启 SQL 显示，默认值: false
  15.   executor.size: # 工作线程数量，默认值: CPU 核数
  16.   check.table.metadata.enabled: # 是否在启动时检查分表元数据一致性，默认值: false
  18. configMap: # 用户自定义配置
  19.   key1: value1
  20.   key2: value2
  21.   keyx: valuex

通过 MasterSlaveDataSourceFactory 工厂类创建 DataSource：

  1. DataSource dataSource = MasterSlaveDataSourceFactory.createDataSource(yamlFile);

治理

配置项说明

  1. dataSources: # 省略数据源配置
  2. shardingRule: # 省略分片规则配置
  3. masterSlaveRule: # 省略读写分离规则配置
  5. orchestration:
  6.   name: # 数据治理实例名称
  7.   overwrite: # 本地配置是否覆盖注册中心配置。如果可覆盖，每次启动都以本地配置为准
  8.   registry: # 注册中心配置
  9.     serverLists: # 连接注册中心服务器的列表。包括 IP 地址和端口号。多个地址用逗号分隔。如: host1:2181,host2:2181
  10.     namespace: # 注册中心的命名空间
  11.     digest: # 连接注册中心的权限令牌。缺省为不需要权限验证
  12.     operationTimeoutMilliseconds: # 操作超时的毫秒数，默认 500 毫秒
  13.     maxRetries: # 连接失败后的最大重试次数，默认 3 次
  14.     retryIntervalMilliseconds: # 重试间隔毫秒数，默认 500 毫秒
  15.     timeToLiveSeconds: # 临时节点存活秒数，默认 60 秒

ShardingSphere-2.x

数据分片

配置项说明

  1. dataSources:
  2.   db0: !!org.apache.commons.dbcp.BasicDataSource
  3.     driverClassName: org.h2.Driver
  4.     url: jdbc:h2:mem:db0;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  5.     username: sa
  6.     password: 
  7.     maxActive: 100
  8.   db1: !!org.apache.commons.dbcp.BasicDataSource
  9.     driverClassName: org.h2.Driver
  10.     url: jdbc:h2:mem:db1;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  11.     username: sa
  12.     password: 
  13.     maxActive: 100
  15. shardingRule:
  16.   tables:
  17.     config:
  18.       actualDataNodes: db${0..1}.t_config
  19.     t_order: 
  20.       actualDataNodes: db${0..1}.t_order_${0..1}
  21.       databaseStrategy: 
  22.         standard:
  23.           shardingColumn: user_id
  24.           preciseAlgorithmClassName: io.shardingjdbc.core.yaml.fixture.SingleAlgorithm
  25.       tableStrategy: 
  26.         inline:
  27.           shardingColumn: order_id
  28.           algorithmInlineExpression: t_order_${order_id % 2}
  29.       keyGeneratorColumnName: order_id
  30.       keyGeneratorClass: io.shardingjdbc.core.yaml.fixture.IncrementKeyGenerator
  31.     t_order_item:
  32.       actualDataNodes: db${0..1}.t_order_item_${0..1}
  33.       # 绑定表中其余的表的策略与第一张表的策略相同
  34.       databaseStrategy: 
  35.         standard:
  36.           shardingColumn: user_id
  37.           preciseAlgorithmClassName: io.shardingjdbc.core.yaml.fixture.SingleAlgorithm
  38.       tableStrategy: 
  39.         inline:
  40.           shardingColumn: order_id
  41.           algorithmInlineExpression: t_order_item_${order_id % 2}
  42.   bindingTables:
  43.     - t_order,t_order_item
  44.   # 默认数据库分片策略
  45.   defaultDatabaseStrategy:
  46.     none:
  47.   defaultTableStrategy:
  48.     complex:
  49.       shardingColumns: id, order_id
  50.       algorithmClassName: io.shardingjdbc.core.yaml.fixture.MultiAlgorithm
  51.   props:
  52.     sql.show: true

读写分离

概念

为了缓解数据库压力，将写入和读取操作分离为不同数据源，写库称为主库，读库称为从库，一主库可配置多从库。

支持项

  1. 提供了一主多从的读写分离配置，可独立使用，也可配合分库分表使用。
  2. 独立使用读写分离支持 SQL 透传。
  3. 同一线程且同一数据库连接内，如有写入操作，以后的读操作均从主库读取，用于保证数据一致性。
  4. Spring 命名空间。
  5. 基于 Hin t的强制主库路由。

不支持范围

  1. 主库和从库的数据同步。
  2. 主库和从库的数据同步延迟导致的数据不一致。
  3. 主库双写或多写。

配置规则

  1. dataSources:
  2.   db_master: !!org.apache.commons.dbcp.BasicDataSource
  3.     driverClassName: org.h2.Driver
  4.     url: jdbc:h2:mem:db_master;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  5.     username: sa
  6.     password: 
  7.     maxActive: 100
  8.   db_slave_0: !!org.apache.commons.dbcp.BasicDataSource
  9.     driverClassName: org.h2.Driver
  10.     url: jdbc:h2:mem:db_slave_0;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  11.     username: sa
  12.     password: 
  13.     maxActive: 100
  14.   db_slave_1: !!org.apache.commons.dbcp.BasicDataSource
  15.       driverClassName: org.h2.Driver
  16.       url: jdbc:h2:mem:db_slave_1;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  17.       username: sa
  18.       password: 
  19.       maxActive: 100
  21. masterSlaveRule:
  22.   name: db_ms
  23.   masterDataSourceName: db_master
  24.   slaveDataSourceNames: [db_slave_0, db_slave_1]
  25.   configMap:
  26.     key1: value1

通过 MasterSlaveDataSourceFactory 工厂类创建 DataSource：

  1. DataSource dataSource = MasterSlaveDataSourceFactory.createDataSource(yamlFile);

治理

配置项说明

Zookeeper 分库分表编排配置项说明

  1. dataSources: # 数据源配置
  3. shardingRule: # 分片规则配置
  5. orchestration: # Zookeeper 编排配置
  6.   name: # 编排服务节点名称
  7.   overwrite: # 本地配置是否可覆盖注册中心配置。如果可覆盖，每次启动都以本地配置为准
  8.   zookeeper: # Zookeeper 注册中心配置
  9.     namespace: # Zookeeper 的命名空间
  10.     serverLists: # 连接 Zookeeper 服务器的列表。包括 IP 地址和端口号。多个地址用逗号分隔。如: host1:2181,host2:2181
  11.     baseSleepTimeMilliseconds: # 等待重试的间隔时间的初始值。单位：毫秒
  12.     maxSleepTimeMilliseconds: # 等待重试的间隔时间的最大值。单位：毫秒
  13.     maxRetries: # 最大重试次数
  14.     sessionTimeoutMilliseconds: # 会话超时时间。单位：毫秒
  15.     connectionTimeoutMilliseconds: # 连接超时时间。单位：毫秒
  16.     digest: # 连接 Zookeeper 的权限令牌。缺省为不需要权限验证

Etcd 分库分表编排配置项说明

  1. dataSources: # 数据源配置
  3. shardingRule: # 分片规则配置
  5. orchestration: # Etcd 编排配置
  6.   name: # 编排服务节点名称
  7.   overwrite: # 本地配置是否可覆盖注册中心配置。如果可覆盖，每次启动都以本地配置为准
  8.   etcd: # Etcd 注册中心配置
  9.     serverLists: # 连接 Etcd 服务器的列表。包括 IP 地址和端口号。多个地址用逗号分隔。如: http://host1:2379,http://host2:2379
  10.     timeToLiveSeconds: # 临时节点存活时间。单位：秒
  11.     timeoutMilliseconds: # 每次请求的超时时间。单位：毫秒
  12.     maxRetries: # 每次请求的最大重试次数
  13.     retryIntervalMilliseconds: # 重试间隔时间。单位：毫秒

分库分表编排数据源构建方式

  1. DataSource dataSource = OrchestrationShardingDataSourceFactory.createDataSource(yamlFile);

读写分离数据源构建方式

  1. DataSource dataSource = OrchestrationMasterSlaveDataSourceFactory.createDataSource(yamlFile);