YAML 配置

5.0.0-alpha

数据分片

配置项说明

  1. dataSources: # 省略数据源配置，请参考使用手册
  3. rules:
  4. - !SHARDING
  5.   tables: # 数据分片规则配置
  6.     <logic-table-name> (+): # 逻辑表名称
  7.       actualDataNodes (?): # 由数据源名 + 表名组成（参考Inline语法规则）
  8.       databaseStrategy (?): # 分库策略，缺省表示使用默认分库策略，以下的分片策略只能选其一
  9.         standard: # 用于单分片键的标准分片场景
  10.           shardingColumn: # 分片列名称
  11.           shardingAlgorithmName: # 分片算法名称
  12.         complex: # 用于多分片键的复合分片场景
  13.           shardingColumns: #分片列名称，多个列以逗号分隔
  14.           shardingAlgorithmName: # 分片算法名称
  15.         hint: # Hint 分片策略
  16.           shardingAlgorithmName: # 分片算法名称
  17.         none: # 不分片
  18.       tableStrategy: # 分表策略，同分库策略
  19.       keyGenerateStrategy: # 分布式序列策略
  20.         column: # 自增列名称，缺省表示不使用自增主键生成器
  21.         keyGeneratorName: # 分布式序列算法名称
  22.   autoTables: # 自动分片表规则配置
  23.     t_order_auto: # 逻辑表名称
  24.       actualDataSources (?): # 数据源名称
  25.       shardingStrategy: # 切分策略
  26.         standard: # 用于单分片键的标准分片场景
  27.           shardingColumn: # 分片列名称
  28.           shardingAlgorithmName: # 自动分片算法名称
  29.   bindingTables (+): # 绑定表规则列表
  30.     - <logic_table_name_1, logic_table_name_2, ...> 
  31.     - <logic_table_name_1, logic_table_name_2, ...> 
  32.   broadcastTables (+): # 广播表规则列表
  33.     - <table-name>
  34.     - <table-name>
  35.   defaultDatabaseStrategy: # 默认数据库分片策略
  36.   defaultTableStrategy: # 默认表分片策略
  37.   defaultKeyGenerateStrategy: # 默认的分布式序列策略
  39.   # 分片算法配置
  40.   shardingAlgorithms:
  41.     <sharding-algorithm-name> (+): # 分片算法名称
  42.       type: # 分片算法类型
  43.       props: # 分片算法属性配置
  44.       # ...
  46.   # 分布式序列算法配置
  47.   keyGenerators:
  48.     <key-generate-algorithm-name> (+): # 分布式序列算法名称
  49.       type: # 分布式序列算法类型
  50.       props: # 分布式序列算法属性配置
  51.       # ...
  53. props:
  54.   # ...

读写分离

配置项说明

  1. dataSources: # 省略数据源配置，请参考使用手册
  3. rules:
  4. - !REPLICA_QUERY
  5.   dataSources:
  6.     <data-source-name> (+): # 读写分离逻辑数据源名称
  7.       primaryDataSourceName: # 主库数据源名称
  8.       replicaDataSourceNames: 
  9.         - <replica-data_source-name> (+) # 从库数据源名称
  10.       loadBalancerName: # 负载均衡算法名称
  12.   # 负载均衡算法配置
  13.   loadBalancers:
  14.     <load-balancer-name> (+): # 负载均衡算法名称
  15.       type: # 负载均衡算法类型
  16.       props: # 负载均衡算法属性配置
  17.         # ...
  19. props:
  20.   # ...

算法类型的详情，请参见内置负载均衡算法列表。

数据加密

配置项说明

  1. dataSource: # 省略数据源配置，请参考使用手册
  3. rules:
  4. - !ENCRYPT
  5.   tables:
  6.     <table-name> (+): # 加密表名称
  7.       columns:
  8.         <column-name> (+): # 加密列名称
  9.           cipherColumn: # 密文列名称
  10.           assistedQueryColumn (?):  # 查询辅助列名称
  11.           plainColumn (?): # 原文列名称
  12.           encryptorName: # 加密算法名称
  14.   # 加密算法配置
  15.   encryptors:
  16.     <encrypt-algorithm-name> (+): # 加解密算法名称
  17.       type: # 加解密算法类型
  18.       props: # 加解密算法属性配置
  19.         # ...
  21.   queryWithCipherColumn: # 是否使用加密列进行查询。在有原文列的情况下，可以使用原文列进行查询

算法类型的详情，请参见内置加密算法列表。

影子库

配置项说明

  1. dataSources: # 省略数据源配置，请参考使用手册
  3. rules:
  4. - !SHADOW
  5.   column: # 影子字段名
  6.   sourceDataSourceNames: # 影子前数据库名
  7.      # ...
  8.   shadowDataSourceNames: # 对应的影子库名
  9.      # ... 
  11. props:
  12.   # ...

分布式治理

配置项说明

  1. governance:
  2.   name: # 治理名称
  3.   registryCenter: # 注册中心
  4.     type: # 治理持久化类型。如：Zookeeper, etcd
  5.     serverLists: # 治理服务列表。包括 IP 地址和端口号。多个地址用逗号分隔。如: host1:2181,host2:2181 
  6.   overwrite: # 本地配置是否覆盖配置中心配置。如果可覆盖，每次启动都以本地配置为准

ShardingSphere-4.x

数据分片

配置项说明

  1. dataSources:
  2.   ds0: !!org.apache.commons.dbcp.BasicDataSource
  3.     driverClassName: com.mysql.jdbc.Driver
  4.     url: jdbc:mysql://localhost:3306/ds0
  5.     username: root
  6.     password: 
  7.   ds1: !!org.apache.commons.dbcp.BasicDataSource
  8.     driverClassName: com.mysql.jdbc.Driver
  9.     url: jdbc:mysql://localhost:3306/ds1
  10.     username: root
  11.     password: 
  13. shardingRule:  
  14.   tables:
  15.     t_order: 
  16.       actualDataNodes: ds${0..1}.t_order${0..1}
  17.       databaseStrategy:
  18.         inline:
  19.           shardingColumn: user_id
  20.           algorithmExpression: ds${user_id % 2}
  21.       tableStrategy: 
  22.         inline:
  23.           shardingColumn: order_id
  24.           algorithmExpression: t_order${order_id % 2}
  25.       keyGenerator:
  26.         type: SNOWFLAKE
  27.         column: order_id
  28.     t_order_item:
  29.       actualDataNodes: ds${0..1}.t_order_item${0..1}
  30.       databaseStrategy:
  31.         inline:
  32.           shardingColumn: user_id
  33.           algorithmExpression: ds${user_id % 2}
  34.       tableStrategy:
  35.         inline:
  36.           shardingColumn: order_id
  37.           algorithmExpression: t_order_item${order_id % 2}  
  38.   bindingTables:
  39.     - t_order,t_order_item
  40.   broadcastTables:
  41.     - t_config
  43.   defaultDataSourceName: ds0
  44.   defaultTableStrategy:
  45.     none:
  46.   defaultKeyGenerator:
  47.     type: SNOWFLAKE
  48.     column: order_id
  50. props:
  51.   sql.show: true

读写分离

配置项说明

  1. dataSources:
  2.   ds_master: !!org.apache.commons.dbcp.BasicDataSource
  3.     driverClassName: com.mysql.jdbc.Driver
  4.     url: jdbc:mysql://localhost:3306/ds_master
  5.     username: root
  6.     password: 
  7.   ds_slave0: !!org.apache.commons.dbcp.BasicDataSource
  8.     driverClassName: com.mysql.jdbc.Driver
  9.     url: jdbc:mysql://localhost:3306/ds_slave0
  10.     username: root
  11.     password:
  12.   ds_slave1: !!org.apache.commons.dbcp.BasicDataSource
  13.     driverClassName: com.mysql.jdbc.Driver
  14.     url: jdbc:mysql://localhost:3306/ds_slave1
  15.     username: root
  16.     password: 
  18. masterSlaveRule:
  19.   name: ds_ms
  20.   masterDataSourceName: ds_master
  21.   slaveDataSourceNames: [ds_slave0, ds_slave1]
  23. props:
  24.   sql.show: true

通过 YamlMasterSlaveDataSourceFactory 工厂类创建 DataSource：

  1. DataSource dataSource = YamlMasterSlaveDataSourceFactory.createDataSource(yamlFile);

数据脱敏

配置项说明

  1. dataSource:  !!org.apache.commons.dbcp2.BasicDataSource
  2.   driverClassName: com.mysql.jdbc.Driver
  3.   url: jdbc:mysql://127.0.0.1:3306/encrypt?serverTimezone=UTC&useSSL=false
  4.   username: root
  5.   password:
  7. encryptRule:
  8.   encryptors:
  9.     encryptor_aes:
  10.       type: aes
  11.       props:
  12.         aes.key.value: 123456abc
  13.     encryptor_md5:
  14.       type: md5
  15.   tables:
  16.     t_encrypt:
  17.       columns:
  18.         user_id:
  19.           plainColumn: user_plain
  20.           cipherColumn: user_cipher
  21.           encryptor: encryptor_aes
  22.         order_id:
  23.           cipherColumn: order_cipher
  24.           encryptor: encryptor_md5
  25. props:
  26.   query.with.cipher.column: true # 是否使用密文列查询

治理

配置项说明

  1. # 省略数据分片、读写分离和数据脱敏配置
  3. orchestration:
  4.   name: orchestration_ds
  5.   overwrite: true
  6.   registry:
  7.     type: zookeeper
  8.     namespace: orchestration
  9.     serverLists: localhost:2181

ShardingSphere-3.x

数据分片

配置项说明

  1. dataSources:
  2.   ds0: !!org.apache.commons.dbcp.BasicDataSource
  3.     driverClassName: com.mysql.jdbc.Driver
  4.     url: jdbc:mysql://localhost:3306/ds0
  5.     username: root
  6.     password: 
  7.   ds1: !!org.apache.commons.dbcp.BasicDataSource
  8.     driverClassName: com.mysql.jdbc.Driver
  9.     url: jdbc:mysql://localhost:3306/ds1
  10.     username: root
  11.     password: 
  13. shardingRule:  
  14.   tables:
  15.     t_order: 
  16.       actualDataNodes: ds${0..1}.t_order${0..1}
  17.       databaseStrategy:
  18.         inline:
  19.           shardingColumn: user_id
  20.           algorithmExpression: ds${user_id % 2}
  21.       tableStrategy: 
  22.         inline:
  23.           shardingColumn: order_id
  24.           algorithmExpression: t_order${order_id % 2}
  25.       keyGeneratorColumnName: order_id
  26.     t_order_item:
  27.       actualDataNodes: ds${0..1}.t_order_item${0..1}
  28.       databaseStrategy:
  29.         inline:
  30.           shardingColumn: user_id
  31.           algorithmExpression: ds${user_id % 2}
  32.       tableStrategy:
  33.         inline:
  34.           shardingColumn: order_id
  35.           algorithmExpression: t_order_item${order_id % 2}  
  36.   bindingTables:
  37.     - t_order,t_order_item
  38.   broadcastTables:
  39.     - t_config
  41.   defaultDataSourceName: ds0
  42.   defaultTableStrategy:
  43.     none:
  44.   defaultKeyGeneratorClassName: io.shardingsphere.core.keygen.DefaultKeyGenerator
  46. props:
  47.   sql.show: true

读写分离

配置项说明

  1. dataSources:
  2.   ds_master: !!org.apache.commons.dbcp.BasicDataSource
  3.     driverClassName: com.mysql.jdbc.Driver
  4.     url: jdbc:mysql://localhost:3306/ds_master
  5.     username: root
  6.     password: 
  7.   ds_slave0: !!org.apache.commons.dbcp.BasicDataSource
  8.     driverClassName: com.mysql.jdbc.Driver
  9.     url: jdbc:mysql://localhost:3306/ds_slave0
  10.     username: root
  11.     password:
  12.   ds_slave1: !!org.apache.commons.dbcp.BasicDataSource
  13.     driverClassName: com.mysql.jdbc.Driver
  14.     url: jdbc:mysql://localhost:3306/ds_slave1
  15.     username: root
  16.     password: 
  18. masterSlaveRule:
  19.   name: ds_ms
  20.   masterDataSourceName: ds_master
  21.   slaveDataSourceNames: [ds_slave0, ds_slave1]
  22.   props:
  23.       sql.show: true
  24.   configMap:
  25.       key1: value1

通过 MasterSlaveDataSourceFactory 工厂类创建 DataSource：

  1. DataSource dataSource = MasterSlaveDataSourceFactory.createDataSource(yamlFile);

治理

配置项说明

  1. # 省略数据分片和读写分离配置
  3. orchestration:
  4.   name: orchestration_ds
  5.   overwrite: true
  6.   registry:
  7.     namespace: orchestration
  8.     serverLists: localhost:2181

ShardingSphere-2.x

数据分片

配置项说明

  1. dataSources:
  2.   db0: !!org.apache.commons.dbcp.BasicDataSource
  3.     driverClassName: org.h2.Driver
  4.     url: jdbc:h2:mem:db0;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  5.     username: sa
  6.     password: 
  7.     maxActive: 100
  8.   db1: !!org.apache.commons.dbcp.BasicDataSource
  9.     driverClassName: org.h2.Driver
  10.     url: jdbc:h2:mem:db1;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  11.     username: sa
  12.     password: 
  13.     maxActive: 100
  15. shardingRule:
  16.   tables:
  17.     config:
  18.       actualDataNodes: db${0..1}.t_config
  19.     t_order: 
  20.       actualDataNodes: db${0..1}.t_order_${0..1}
  21.       databaseStrategy: 
  22.         standard:
  23.           shardingColumn: user_id
  24.           preciseAlgorithmClassName: io.shardingjdbc.core.yaml.fixture.SingleAlgorithm
  25.       tableStrategy: 
  26.         inline:
  27.           shardingColumn: order_id
  28.           algorithmInlineExpression: t_order_${order_id % 2}
  29.       keyGeneratorColumnName: order_id
  30.       keyGeneratorClass: io.shardingjdbc.core.yaml.fixture.IncrementKeyGenerator
  31.     t_order_item:
  32.       actualDataNodes: db${0..1}.t_order_item_${0..1}
  33.       # 绑定表中其余的表的策略与第一张表的策略相同
  34.       databaseStrategy: 
  35.         standard:
  36.           shardingColumn: user_id
  37.           preciseAlgorithmClassName: io.shardingjdbc.core.yaml.fixture.SingleAlgorithm
  38.       tableStrategy: 
  39.         inline:
  40.           shardingColumn: order_id
  41.           algorithmInlineExpression: t_order_item_${order_id % 2}
  42.   bindingTables:
  43.     - t_order,t_order_item
  44.   # 默认数据库分片策略
  45.   defaultDatabaseStrategy:
  46.     none:
  47.   defaultTableStrategy:
  48.     complex:
  49.       shardingColumns: id, order_id
  50.       algorithmClassName: io.shardingjdbc.core.yaml.fixture.MultiAlgorithm
  51.   props:
  52.     sql.show: true

读写分离

概念

为了缓解数据库压力，将写入和读取操作分离为不同数据源，写库称为主库，读库称为从库，一主库可配置多从库。

支持项

  1. 提供了一主多从的读写分离配置，可独立使用，也可配合分库分表使用。
  2. 独立使用读写分离支持SQL透传。
  3. 同一线程且同一数据库连接内，如有写入操作，以后的读操作均从主库读取，用于保证数据一致性。
  4. Spring命名空间。
  5. 基于Hint的强制主库路由。

不支持范围

  1. 主库和从库的数据同步。
  2. 主库和从库的数据同步延迟导致的数据不一致。
  3. 主库双写或多写。

配置规则

  1. dataSources:
  2.   db_master: !!org.apache.commons.dbcp.BasicDataSource
  3.     driverClassName: org.h2.Driver
  4.     url: jdbc:h2:mem:db_master;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  5.     username: sa
  6.     password: 
  7.     maxActive: 100
  8.   db_slave_0: !!org.apache.commons.dbcp.BasicDataSource
  9.     driverClassName: org.h2.Driver
  10.     url: jdbc:h2:mem:db_slave_0;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  11.     username: sa
  12.     password: 
  13.     maxActive: 100
  14.   db_slave_1: !!org.apache.commons.dbcp.BasicDataSource
  15.       driverClassName: org.h2.Driver
  16.       url: jdbc:h2:mem:db_slave_1;DB_CLOSE_DELAY=-1;DATABASE_TO_UPPER=false;MODE=MYSQL
  17.       username: sa
  18.       password: 
  19.       maxActive: 100
  21. masterSlaveRule:
  22.   name: db_ms
  23.   masterDataSourceName: db_master
  24.   slaveDataSourceNames: [db_slave_0, db_slave_1]
  25.   configMap:
  26.     key1: value1

通过 MasterSlaveDataSourceFactory 工厂类创建 DataSource：

  1. DataSource dataSource = MasterSlaveDataSourceFactory.createDataSource(yamlFile);

治理

配置项说明

Zookeeper分库分表编排配置项说明

  1. dataSources: 数据源配置
  3. shardingRule: 分片规则配置
  5. orchestration: Zookeeper编排配置
  6.   name: 编排服务节点名称
  7.   overwrite: 本地配置是否可覆盖注册中心配置。如果可覆盖，每次启动都以本地配置为准
  8.   zookeeper: Zookeeper注册中心配置
  9.     namespace: Zookeeper的命名空间
  10.     serverLists: 连接Zookeeper服务器的列表。包括IP地址和端口号。多个地址用逗号分隔。如: host1:2181,host2:2181
  11.     baseSleepTimeMilliseconds: 等待重试的间隔时间的初始值。单位：毫秒
  12.     maxSleepTimeMilliseconds: 等待重试的间隔时间的最大值。单位：毫秒
  13.     maxRetries: 最大重试次数
  14.     sessionTimeoutMilliseconds: 会话超时时间。单位：毫秒
  15.     connectionTimeoutMilliseconds: 连接超时时间。单位：毫秒
  16.     digest: 连接Zookeeper的权限令牌。缺省为不需要权限验证

Etcd分库分表编排配置项说明

  1. dataSources: 数据源配置
  3. shardingRule: 分片规则配置
  5. orchestration: Etcd编排配置
  6.   name: 编排服务节点名称
  7.   overwrite: 本地配置是否可覆盖注册中心配置。如果可覆盖，每次启动都以本地配置为准
  8.   etcd: Etcd注册中心配置
  9.     serverLists: 连接Etcd服务器的列表。包括IP地址和端口号。多个地址用逗号分隔。如: http://host1:2379,http://host2:2379
  10.     timeToLiveSeconds: 临时节点存活时间。单位：秒
  11.     timeoutMilliseconds: 每次请求的超时时间。单位：毫秒
  12.     maxRetries: 每次请求的最大重试次数
  13.     retryIntervalMilliseconds: 重试间隔时间。单位：毫秒

分库分表编排数据源构建方式

  1. DataSource dataSource = OrchestrationShardingDataSourceFactory.createDataSource(yamlFile);

读写分离数据源构建方式

  1. DataSource dataSource = OrchestrationMasterSlaveDataSourceFactory.createDataSource(yamlFile);