数据分片

背景信息

数据分片 YAML 配置方式具有非凡的可读性，通过 YAML 格式，能够快速地理解分片规则之间的依赖关系，ShardingSphere 会根据 YAML 配置，自动完成 ShardingSphereDataSource 对象的创建，减少用户不必要的编码工作。

参数解释

  1. rules:
  2. - !SHARDING
  3.   tables: # 数据分片规则配置
  4.     <logic_table_name> (+): # 逻辑表名称
  5.       actualDataNodes (?): # 由数据源名 + 表名组成（参考 Inline 语法规则）
  6.       databaseStrategy (?): # 分库策略，缺省表示使用默认分库策略，以下的分片策略只能选其一
  7.         standard: # 用于单分片键的标准分片场景
  8.           shardingColumn: # 分片列名称
  9.           shardingAlgorithmName: # 分片算法名称
  10.         complex: # 用于多分片键的复合分片场景
  11.           shardingColumns: # 分片列名称，多个列以逗号分隔
  12.           shardingAlgorithmName: # 分片算法名称
  13.         hint: # Hint 分片策略
  14.           shardingAlgorithmName: # 分片算法名称
  15.         none: # 不分片
  16.       tableStrategy: # 分表策略，同分库策略
  17.       keyGenerateStrategy: # 分布式序列策略
  18.         column: # 自增列名称，缺省表示不使用自增主键生成器
  19.         keyGeneratorName: # 分布式序列算法名称
  20.       auditStrategy: # 分片审计策略
  21.         auditorNames: # 分片审计算法名称
  22.           - <auditor_name>
  23.           - <auditor_name>
  24.         allowHintDisable: true # 是否禁用分片审计hint
  25.   autoTables: # 自动分片表规则配置
  26.     t_order_auto: # 逻辑表名称
  27.       actualDataSources (?): # 数据源名称
  28.       shardingStrategy: # 切分策略
  29.         standard: # 用于单分片键的标准分片场景
  30.           shardingColumn: # 分片列名称
  31.           shardingAlgorithmName: # 自动分片算法名称
  32.   bindingTables (+): # 绑定表规则列表
  33.     - <logic_table_name_1, logic_table_name_2, ...> 
  34.     - <logic_table_name_1, logic_table_name_2, ...> 
  35.   broadcastTables (+): # 广播表规则列表
  36.     - <table_name>
  37.     - <table_name>
  38.   defaultDatabaseStrategy: # 默认数据库分片策略
  39.   defaultTableStrategy: # 默认表分片策略
  40.   defaultKeyGenerateStrategy: # 默认的分布式序列策略
  41.   defaultShardingColumn: # 默认分片列名称
  43.   # 分片算法配置
  44.   shardingAlgorithms:
  45.     <sharding_algorithm_name> (+): # 分片算法名称
  46.       type: # 分片算法类型
  47.       props: # 分片算法属性配置
  48.       # ...
  50.   # 分布式序列算法配置
  51.   keyGenerators:
  52.     <key_generate_algorithm_name> (+): # 分布式序列算法名称
  53.       type: # 分布式序列算法类型
  54.       props: # 分布式序列算法属性配置
  55.       # ...
  56.   # 分片审计算法配置
  57.   auditors:
  58.     <sharding_audit_algorithm_name> (+): # 分片审计算法名称
  59.       type: # 分片审计算法类型
  60.       props: # 分片审计算法属性配置
  61.       # ...

操作步骤

  1. 在 YAML 文件中配置数据分片规则，包含数据源、分片规则、全局属性等配置项；
  2. 调用 YamlShardingSphereDataSourceFactory 对象的 createDataSource 方法，根据 YAML 文件中的配置信息创建 ShardingSphereDataSource。

配置示例

数据分片 YAML 配置示例如下：

  1. dataSources:
  2.   ds_0:
  3.     dataSourceClassName: com.zaxxer.hikari.HikariDataSource
  4.     driverClassName: com.mysql.jdbc.Driver
  5.     jdbcUrl: jdbc:mysql://localhost:3306/demo_ds_0?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
  6.     username: root
  7.     password:
  8.   ds_1:
  9.     dataSourceClassName: com.zaxxer.hikari.HikariDataSource
  10.     driverClassName: com.mysql.jdbc.Driver
  11.     jdbcUrl: jdbc:mysql://localhost:3306/demo_ds_1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
  12.     username: root
  13.     password:
  15. rules:
  16. - !SHARDING
  17.   tables:
  18.     t_order: 
  19.       actualDataNodes: ds_${0..1}.t_order_${0..1}
  20.       tableStrategy: 
  21.         standard:
  22.           shardingColumn: order_id
  23.           shardingAlgorithmName: t_order_inline
  24.       keyGenerateStrategy:
  25.         column: order_id
  26.         keyGeneratorName: snowflake
  27.       auditStrategy:
  28.         auditorNames:
  29.           - sharding_key_required_auditor
  30.         allowHintDisable: true
  31.     t_order_item:
  32.       actualDataNodes: ds_${0..1}.t_order_item_${0..1}
  33.       tableStrategy:
  34.         standard:
  35.           shardingColumn: order_id
  36.           shardingAlgorithmName: t_order_item_inline
  37.       keyGenerateStrategy:
  38.         column: order_item_id
  39.         keyGeneratorName: snowflake
  40.     t_account:
  41.       actualDataNodes: ds_${0..1}.t_account_${0..1}
  42.       tableStrategy:
  43.         standard:
  44.           shardingAlgorithmName: t_account_inline
  45.       keyGenerateStrategy:
  46.         column: account_id
  47.         keyGeneratorName: snowflake
  48.   defaultShardingColumn: account_id
  49.   bindingTables:
  50.     - t_order,t_order_item
  51.   broadcastTables:
  52.     - t_address
  53.   defaultDatabaseStrategy:
  54.     standard:
  55.       shardingColumn: user_id
  56.       shardingAlgorithmName: database_inline
  57.   defaultTableStrategy:
  58.     none:
  60.   shardingAlgorithms:
  61.     database_inline:
  62.       type: INLINE
  63.       props:
  64.         algorithm-expression: ds_${user_id % 2}
  65.     t_order_inline:
  66.       type: INLINE
  67.       props:
  68.         algorithm-expression: t_order_${order_id % 2}
  69.     t_order_item_inline:
  70.       type: INLINE
  71.       props:
  72.         algorithm-expression: t_order_item_${order_id % 2}
  73.     t_account_inline:
  74.       type: INLINE
  75.       props:
  76.         algorithm-expression: t_account_${account_id % 2}
  77.   keyGenerators:
  78.     snowflake:
  79.       type: SNOWFLAKE
  80.   auditors:
  81.     sharding_key_required_auditor:
  82.       type: DML_SHARDING_CONDITIONS
  84. props:
  85.   sql-show: false

通过 YamlShardingSphereDataSourceFactory 的 createDataSource 方法，读取 YAML 配置完成数据源的创建。

  1. YamlShardingSphereDataSourceFactory.createDataSource(getFile("/META-INF/sharding-databases-tables.yaml"));

相关参考