数据分片

背景信息

数据分片 YAML 配置方式具有非凡的可读性，通过 YAML 格式，能够快速地理解分片规则之间的依赖关系，ShardingSphere 会根据 YAML 配置，自动完成 ShardingSphereDataSource 对象的创建，减少用户不必要的编码工作。

参数解释

  1. rules:
  2. - !SHARDING
  3.   tables: # 数据分片规则配置
  4.     <logic_table_name> (+): # 逻辑表名称
  5.       actualDataNodes (?): # 由数据源名 + 表名组成（参考 Inline 语法规则）
  6.       databaseStrategy (?): # 分库策略，缺省表示使用默认分库策略，以下的分片策略只能选其一
  7.         standard: # 用于单分片键的标准分片场景
  8.           shardingColumn: # 分片列名称
  9.           shardingAlgorithmName: # 分片算法名称
  10.         complex: # 用于多分片键的复合分片场景
  11.           shardingColumns: # 分片列名称，多个列以逗号分隔
  12.           shardingAlgorithmName: # 分片算法名称
  13.         hint: # Hint 分片策略
  14.           shardingAlgorithmName: # 分片算法名称
  15.         none: # 不分片
  16.       tableStrategy: # 分表策略，同分库策略
  17.       keyGenerateStrategy: # 分布式序列策略
  18.         column: # 自增列名称，缺省表示不使用自增主键生成器
  19.         keyGeneratorName: # 分布式序列算法名称
  20.       auditStrategy: # 分片审计策略
  21.         auditorNames: # 分片审计算法名称
  22.           - <auditor_name>
  23.           - <auditor_name>
  24.         allowHintDisable: true # 是否禁用分片审计hint
  25.   autoTables: # 自动分片表规则配置
  26.     t_order_auto: # 逻辑表名称
  27.       actualDataSources (?): # 数据源名称
  28.       shardingStrategy: # 切分策略
  29.         standard: # 用于单分片键的标准分片场景
  30.           shardingColumn: # 分片列名称
  31.           shardingAlgorithmName: # 自动分片算法名称
  32.   bindingTables (+): # 绑定表规则列表
  33.     - <logic_table_name_1, logic_table_name_2, ...> 
  34.     - <logic_table_name_1, logic_table_name_2, ...> 
  35.   defaultDatabaseStrategy: # 默认数据库分片策略
  36.   defaultTableStrategy: # 默认表分片策略
  37.   defaultKeyGenerateStrategy: # 默认的分布式序列策略
  38.   defaultShardingColumn: # 默认分片列名称
  40.   # 分片算法配置
  41.   shardingAlgorithms:
  42.     <sharding_algorithm_name> (+): # 分片算法名称
  43.       type: # 分片算法类型
  44.       props: # 分片算法属性配置
  45.       # ...
  47.   # 分布式序列算法配置
  48.   keyGenerators:
  49.     <key_generate_algorithm_name> (+): # 分布式序列算法名称
  50.       type: # 分布式序列算法类型
  51.       props: # 分布式序列算法属性配置
  52.       # ...
  53.   # 分片审计算法配置
  54.   auditors:
  55.     <sharding_audit_algorithm_name> (+): # 分片审计算法名称
  56.       type: # 分片审计算法类型
  57.       props: # 分片审计算法属性配置
  58.       # ...
  60. - !BROADCAST
  61.   tables: # 广播表规则列表
  62.     - <table_name>
  63.     - <table_name>

操作步骤

  1. 在 YAML 文件中配置数据分片规则，包含数据源、分片规则、全局属性等配置项；
  2. 调用 YamlShardingSphereDataSourceFactory 对象的 createDataSource 方法，根据 YAML 文件中的配置信息创建 ShardingSphereDataSource。

配置示例

数据分片 YAML 配置示例如下：

  1. dataSources:
  2.   ds_0:
  3.     dataSourceClassName: com.zaxxer.hikari.HikariDataSource
  4.     driverClassName: com.mysql.jdbc.Driver
  5.     jdbcUrl: jdbc:mysql://localhost:3306/demo_ds_0?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
  6.     username: root
  7.     password:
  8.   ds_1:
  9.     dataSourceClassName: com.zaxxer.hikari.HikariDataSource
  10.     driverClassName: com.mysql.jdbc.Driver
  11.     jdbcUrl: jdbc:mysql://localhost:3306/demo_ds_1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
  12.     username: root
  13.     password:
  15. rules:
  16. - !SHARDING
  17.   tables:
  18.     t_order: 
  19.       actualDataNodes: ds_${0..1}.t_order_${0..1}
  20.       tableStrategy: 
  21.         standard:
  22.           shardingColumn: order_id
  23.           shardingAlgorithmName: t_order_inline
  24.       keyGenerateStrategy:
  25.         column: order_id
  26.         keyGeneratorName: snowflake
  27.       auditStrategy:
  28.         auditorNames:
  29.           - sharding_key_required_auditor
  30.         allowHintDisable: true
  31.     t_order_item:
  32.       actualDataNodes: ds_${0..1}.t_order_item_${0..1}
  33.       tableStrategy:
  34.         standard:
  35.           shardingColumn: order_id
  36.           shardingAlgorithmName: t_order_item_inline
  37.       keyGenerateStrategy:
  38.         column: order_item_id
  39.         keyGeneratorName: snowflake
  40.     t_account:
  41.       actualDataNodes: ds_${0..1}.t_account_${0..1}
  42.       tableStrategy:
  43.         standard:
  44.           shardingAlgorithmName: t_account_inline
  45.       keyGenerateStrategy:
  46.         column: account_id
  47.         keyGeneratorName: snowflake
  48.   defaultShardingColumn: account_id
  49.   bindingTables:
  50.     - t_order,t_order_item
  51.   defaultDatabaseStrategy:
  52.     standard:
  53.       shardingColumn: user_id
  54.       shardingAlgorithmName: database_inline
  55.   defaultTableStrategy:
  56.     none:
  58.   shardingAlgorithms:
  59.     database_inline:
  60.       type: INLINE
  61.       props:
  62.         algorithm-expression: ds_${user_id % 2}
  63.     t_order_inline:
  64.       type: INLINE
  65.       props:
  66.         algorithm-expression: t_order_${order_id % 2}
  67.     t_order_item_inline:
  68.       type: INLINE
  69.       props:
  70.         algorithm-expression: t_order_item_${order_id % 2}
  71.     t_account_inline:
  72.       type: INLINE
  73.       props:
  74.         algorithm-expression: t_account_${account_id % 2}
  75.   keyGenerators:
  76.     snowflake:
  77.       type: SNOWFLAKE
  78.   auditors:
  79.     sharding_key_required_auditor:
  80.       type: DML_SHARDING_CONDITIONS
  82. - !BROADCAST
  83.   tables:
  84.     - t_address
  86. props:
  87.   sql-show: false

通过 YamlShardingSphereDataSourceFactory 的 createDataSource 方法，读取 YAML 配置完成数据源的创建。

  1. YamlShardingSphereDataSourceFactory.createDataSource(getFile("/META-INF/sharding-databases-tables.yaml"));

相关参考