主备共享存储

可获得性

本特性自openGauss 3.1.0 版本开始引入。

特性简介

本特性提供主备机共享一份存储的能力，实现基于磁阵设备的主备共享存储HA部署形态，可选通过OCK RDMA提升备机实时一致性读能力_。_主备共享存储架构图如下图所示。

图 1 主备共享架构图
主备共享存储 - 图1

客户价值

解决传统HA部署下存储容量较单机部署翻倍的问题，减少了存储容量，节省磁阵设备。可选通过OCK RDMA提升备机实时一致性读能力。

特性描述

  • 共享存储依赖两个自研的公共组件实现主备共享存储的能力：

    • 分布式存储服务DSS（Distributed Storage Service）

      DSS是独立进程，直接管理磁阵裸设备，并对外提供类似分布式文件系统的能力。通过共享内存和客户端API动态库，为数据库提供创建文件、删除文件、扩展和收缩文件、读写文件的能力。

    • 分布式内存服务DMS（Distributed Memory Service）

      DMS是动态库，集成在数据库内部，通过TCP/RDMA网络传输PAGE内容，将主备内存融合，提供内存池化能力，以此实现备机实时一致性读功能。

  • 共享存储通过分布式存储服务DSS组件实现主备共享一份存储。与传统建库相比，共享存储基于磁阵建库将目录分为三种类型，每实例独占且不共享、每实例独占且共享、所有实例共享。其中需要共享的目录均需存放到磁阵设备上，而不共享的目录存放在本地盘上。另外备机建库只需要建隶属于自己的目录，不需要再次创建所有实例共享的目录结构。主备共享存储新增了相关GUC参数，以及将系统表存储方式从页式切换到段页式。

  • 共享存储通过分布式内存服务DMS组件实现主备页面实时交换，提供备机实时一致性能力。即主机事务提交后，在备机立即能够读到，不存在延迟读现象（事务隔离级别为Read-Committed）。

  • 共享存储通过OCK RDMA降低DMS主备页面交换时延。TCP下的备机一致性读进行时延对比，开启OCK RDMA，备机一致性读时延至少要降低20%。

特性增强

无。

特性约束

  • 主备共享存储方案依赖于磁阵设备，磁阵的LUN需要支持SCSI3的PR协议（包括PR OUT（“PERSISTENT RESERVE OUT”）PR IN（“PERSISTENT RESERVE IN”）和INQUIRY）, 用于实现集群IO FENCE。除此之外, 还需要支持SCSI3的CAW协议（COMPARE AND WRITE），用于实现共享磁盘锁。如Dorado 5000 V3磁阵设备。
  • 实现的主备共享存储HA部署形态只支持1主1备和1主2备场景，其他场景为体验版未测试过，不承诺。
  • 由于主备共享存储依赖类似分布式文件系统的功能来实现备机实时一致性读能力，因此要求文件元数据变更越少越好。基于性能考虑，只支持段页式表。
  • 只支持主备部署在同一磁阵设备上，不支持容灾部署，也不支持主备混合部署（如主和备部署在不同的磁阵设备上）。
  • 主备页面交换通过RDMA加速，依赖CX5网卡，并且依赖OCK RDMA动态库。
  • 暂不支持备机重建及节点替换、节点修复等能力。
  • 不支持从传统HA部署升级到基于主备共享存储部署。
  • 共享存储模式下gs_xlogdump_xid，gs_xlogdump_lsn，gs_xlogdump_tablepath，gs_xlogdump_parsepage_tablepath、pg_create_logical_replication_slot、gs_verify_and_tryrepair_page、gs_repair_page、gs_repair_file函数功能不支持使用。
  • 共享存储模式下T_CreatePublicationStmt、T_AlterPublicationStmt、T_CreateSubscriptionStmt、T_AlterSubscriptionStmt、T_DropSubscriptionStmt订阅功能不支持使用。
  • 共享存储模式下不支持全局临时表。

依赖关系

无。