备份与恢复
概述
数据备份是保护数据安全的重要手段之一,为了更好的保护数据安全,openGauss数据库支持两种备份恢复类型、多种备份恢复方案,备份和恢复过程中提供数据的可靠性保障机制。
备份与恢复类型可分为逻辑备份与恢复、物理备份与恢复。
逻辑备份与恢复:通过逻辑导出对数据进行备份,逻辑备份只能基于备份时刻进行数据转储,所以恢复时也只能恢复到备份时保存的数据。对于故障点和备份点之间的数据,逻辑备份无能为力,逻辑备份适合备份那些很少变化的数据,当这些数据因误操作被损坏时,可以通过逻辑备份进行快速恢复。如果通过逻辑备份进行全库恢复,通常需要重建数据库,导入备份数据来完成,对于可用性要求很高的数据库,这种恢复时间太长,通常不被采用。由于逻辑备份具有平台无关性,所以更为常见的是,逻辑备份被作为一个数据迁移及移动的主要手段。
物理备份与恢复:通过物理文件拷贝的方式对数据库进行备份,以磁盘块为基本单位将数据备份。通过备份的数据文件及归档日志等文件,数据库可以进行完全恢复。物理备份速度快,一般被用作对数据进行备份和恢复,用于全量备份的场景。通过合理规划,可以低成本进行备份与恢复。
以下为openGauss支持的两类数据备份恢复方案,备份方案也决定了当异常发生时该如何恢复。
表 1 两种备份恢复类型对比
当需要进行备份恢复操作时,主要从以下四个方面考虑数据备份方案。
- 备份对业务的影响在可接受范围。
- 数据库恢复效率。
为尽量减小数据库故障的影响,要使恢复时间减到最少,从而使恢复的效率达到最高。
- 数据可恢复程度。
当数据库失效后,要尽量减少数据损失。
- 数据库恢复成本。
在现网选择备份策略时参考的因素比较多,如备份对象、数据大小、网络配置等,[表2](#zh-cn_topic_0237088826_zh-cn_topic_0100209712_table1179095017218)列出了可用的备份策略和每个备份策略的适用场景。
**表 2** 备份策略典型场景
<a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_table1179095017218"></a>
<table><thead align="left"><tr id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_row878975011216"><th class="cellrowborder" valign="top" width="11.29112911291129%" id="mcps1.2.5.1.1"><p id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p87891650728"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p87891650728"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p87891650728"></a><strong id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_b0789750629"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_b0789750629"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_b0789750629"></a>备份策略</strong></p>
</th>
<th class="cellrowborder" valign="top" width="24.21242124212421%" id="mcps1.2.5.1.2"><p id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p197897505215"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p197897505215"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p197897505215"></a><strong id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_b7789550226"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_b7789550226"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_b7789550226"></a>关键性能因素</strong></p>
</th>
<th class="cellrowborder" valign="top" width="15.951595159515952%" id="mcps1.2.5.1.3"><p id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p67894501217"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p67894501217"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p67894501217"></a><strong id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_b1178912508215"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_b1178912508215"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_b1178912508215"></a>典型数据量</strong></p>
</th>
<th class="cellrowborder" valign="top" width="48.544854485448546%" id="mcps1.2.5.1.4"><p id="zh-cn_topic_0237088826_p15847132035410"><a name="zh-cn_topic_0237088826_p15847132035410"></a><a name="zh-cn_topic_0237088826_p15847132035410"></a><strong id="zh-cn_topic_0237088826_b11848182019545"><a name="zh-cn_topic_0237088826_b11848182019545"></a><a name="zh-cn_topic_0237088826_b11848182019545"></a>性能规格</strong></p>
</th>
</tr>
</thead>
<tbody><tr id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_row1678918505219"><td class="cellrowborder" valign="top" width="11.29112911291129%" headers="mcps1.2.5.1.1 "><p id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p1578914506218"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p1578914506218"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p1578914506218"></a>数据库实例备份</p>
</td>
<td class="cellrowborder" valign="top" width="24.21242124212421%" headers="mcps1.2.5.1.2 "><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_ul1178955013215"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_ul1178955013215"></a><ul id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_ul1178955013215"><li><span>数据大小</span></li><li><span>网络配置</span></li></ul>
</td>
<td class="cellrowborder" valign="top" width="15.951595159515952%" headers="mcps1.2.5.1.3 "><p id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p137891350921"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p137891350921"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p137891350921"></a>数据:PB级</p>
<p id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p147895501622"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p147895501622"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p147895501622"></a>对象:约100万个</p>
</td>
<td class="cellrowborder" valign="top" width="48.544854485448546%" headers="mcps1.2.5.1.4 "><p id="zh-cn_topic_0237088826_p89604485347"><a name="zh-cn_topic_0237088826_p89604485347"></a><a name="zh-cn_topic_0237088826_p89604485347"></a>备份:</p>
<a name="zh-cn_topic_0237088826_ul19663753143411"></a><a name="zh-cn_topic_0237088826_ul19663753143411"></a><ul id="zh-cn_topic_0237088826_ul19663753143411"><li><span>每个主机80 Mbit/s(NBU/EISOO+磁盘)</span></li><li><span>约90%磁盘I/O速率(SSD/HDD)</span></li></ul>
</td>
</tr>
<tr id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_row8790175018215"><td class="cellrowborder" valign="top" width="11.29112911291129%" headers="mcps1.2.5.1.1 "><p id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p17907501929"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p17907501929"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p17907501929"></a>表备份</p>
</td>
<td class="cellrowborder" valign="top" width="24.21242124212421%" headers="mcps1.2.5.1.2 "><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_ul17901150926"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_ul17901150926"></a><ul id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_ul17901150926"><li><span>表所在模式</span></li><li>网络配置(NBU)</li></ul>
</td>
<td class="cellrowborder" valign="top" width="15.951595159515952%" headers="mcps1.2.5.1.3 "><p id="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p779035016210"><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p779035016210"></a><a name="zh-cn_topic_0237088826_zh-cn_topic_0100209712_p779035016210"></a>数据:10 TB级</p>
</td>
<td class="cellrowborder" valign="top" width="48.544854485448546%" headers="mcps1.2.5.1.4 "><p id="zh-cn_topic_0237088826_p38521820175415"><a name="zh-cn_topic_0237088826_p38521820175415"></a><a name="zh-cn_topic_0237088826_p38521820175415"></a>备份:基于查询性能速度+I/O速度</p>
<div class="note" id="zh-cn_topic_0237088826_note12046337427"><a name="zh-cn_topic_0237088826_note12046337427"></a><a name="zh-cn_topic_0237088826_note12046337427"></a><span class="notetitle"> 说明: </span><div class="notebody"><p id="zh-cn_topic_0237088826_p1856419442426"><a name="zh-cn_topic_0237088826_p1856419442426"></a><a name="zh-cn_topic_0237088826_p1856419442426"></a>多表备份时,备份耗时计算方式:</p>
<pre class="screen" id="zh-cn_topic_0237088826_screen10251104105812"><a name="zh-cn_topic_0237088826_screen10251104105812"></a><a name="zh-cn_topic_0237088826_screen10251104105812"></a>总时间 = 表数量 x 起步时间 + 数据总量 / 数据备份速度</pre>
<p id="zh-cn_topic_0237088826_p177603013578"><a name="zh-cn_topic_0237088826_p177603013578"></a><a name="zh-cn_topic_0237088826_p177603013578"></a>其中:</p>
<a name="zh-cn_topic_0237088826_ul940073335719"></a><a name="zh-cn_topic_0237088826_ul940073335719"></a><ul id="zh-cn_topic_0237088826_ul940073335719"><li>磁盘起步时间为5s左右,NBU起步时间比DISK长(取决于NBU部署方案)。</li><li>数据备份速度为单节点50MB/s左右(基于1GB大小的表,物理机备份到本地磁盘得出此速率)。</li></ul>
<p id="zh-cn_topic_0237088826_p92312954310"><a name="zh-cn_topic_0237088826_p92312954310"></a><a name="zh-cn_topic_0237088826_p92312954310"></a>表越小,备份性能越低。</p>
</div></div>
</td>
</tr>
</tbody>
</table>
物理备份恢复
gs_basebackup
背景信息
openGauss部署成功后,在数据库运行的过程中,会遇到各种问题及异常状态。openGauss提供了gs_basebackup工具做基础的物理备份。gs_basebackup的实现目标是对服务器数据库文件进行二进制拷贝,其实现原理使用了复制协议。远程执行gs_basebackup时,需要使用系统管理员账户。gs_basebackup当前支持热备份和压缩格式备份。
说明:
gs_basebackup仅支持全量备份,不支持增量。
gs_basebackup当前支持热备份模式和压缩格式备份模式。
gs_basebackup在备份包含绝对路径的表空间时,如果在同一台机器上进行备份,可以通过tablespace-mapping重定向表空间路径,或使用归档模式进行备份。
若打开增量检测点功能且打开双写, gs_basebackup也会备份双写文件。
若pg_xlog目录为软链接,备份时将不会建立软链接,会直接将数据备份到目的路径的pg_xlog目录下。
备份过程中收回用户备份权限,可能导致备份失败,或者备份数据不可用。
前提条件
- 可以正常连接openGauss数据库。
- 备份过程中用户权限没有被回收。
- pg_hba.conf中需要配置允许复制链接,且该连接必须由一个系统管理员建立。
- 如果xlog传输模式为stream模式,需要配置max_wal_senders的数量, 至少有一个可用。
- 如果xlog传输模式为fetch模式,有必要把wal_keep_segments参数设置得足够高,这样在备份末尾之前日志不会被移除。
- 在进行还原时,需要保证各节点备份目录中存在备份文件,若备份文件丢失,则需要从其他节点进行拷贝。
语法
显示帮助信息
gs_basebackup -? | --help
显示版本号信息
gs_basebackup -V | --version
参数说明
gs_basebackup参数可以分为如下几类:
-D directory
备份文件输出的目录,必选项。
常用参数:
-c,—checkpoint=fast|spread
设置检查点模式为fast或者spread(默认)。
-l,—label=LABEL
为备份设置标签。
-P,—progress
启用进展报告。
-v, —verbose
启用冗长模式。
-V, —version
打印版本后退出。
-?,—help
显示gs_basebackup命令行参数。
-T,—tablespace-mapping=olddir=newdir
在备份期间将目录olddir中的表空间重定位到newdir中。为使之有效,olddir必须正好匹配表空间所在的路径(但如果备份中没有包含olddir中的表空间也不是错误)。olddir和newdir必须是绝对路径。如果一个路径凑巧包含了一个=符号,可用反斜线对它转义。对于多个表空间可以多次使用这个选项。
-F,—format=plain|tar
设置输出格式为plain(默认)或者tar。没有设置该参数的情况下,默认—format=plain。plain格式把输出写成平面文件,使用和当前数据目录和表空间相同的布局。当集簇没有额外表空间时,整个数据库将被放在目标目录中。如果集簇包含额外的表空间,主数据目录将被放置在目标目录中,但是所有其他表空间将被放在它们位于服务器上的相同的绝对路径中。tar模式将输出写成目标目录中的 tar 文件。主数据目录将被写入到一个名为base.tar的文件中,并且其他表空间将被以其 OID 命名。生成的tar包,需要用gs_tar命令解压。
-X, —xlog-method=fetch|stream
设置xlog传输方式。没有设置该参数的情况下,默认—xlog-method=stream。在备份中包括所需的预写式日志文件(WAL文件)。这包括所有在备份期间产生的预写式日志。fetch方式在备份末尾收集预写式日志文件。因此,有必要把wal_keep_segments参数设置得足够高,这样在备份末尾之前日志不会被移除。如果在要传输日志时它已经被轮转,备份将失败并且是不可用的。stream方式在备份被创建时流传送预写式日志。这将开启一个到服务器的第二连接并且在运行备份时并行开始流传输预写式日志。因此,它将使用最多两个由max_wal_senders参数配置的连接。只要客户端能保持接收预写式日志,使用这种模式不需要在主控机上保存额外的预写式日志。
-x,—xlog 使用这个选项等效于和方法fetch一起使用-X。
-Z —compress=level
启用对 tar 文件输出的 gzip 压缩,并且制定压缩级别(0 到 9,0 是不压缩,9 是最佳压缩)。只有使用 tar 格式时压缩才可用,并且会在所有tar文件名后面自动加上后缀.gz。
-z
启用对 tar 文件输出的 gzip 压缩,使用默认的压缩级别。只有使用 tar 格式时压缩才可用,并且会在所有tar文件名后面自动加上后缀.gz。
-t,–rw-timeout
设置备份期间checkpoint的时间限制,默认限制时间为120s。当数据库全量checkpoint耗时较长时,可以适当增大rw-timeout限制时间。
连接参数
-h, —host=HOSTNAME
指定正在运行服务器的主机名或者Unix域套接字的路径。
-p,—port=PORT
指定数据库服务器的端口号。
可以通过port参数修改默认端口号。
-U,—username=USERNAME
指定连接数据库的用户。
-s, —status-interval=INTERVAL
发送到服务器的状态包的时间(以秒为单位)
-w,—no-password
不出现输入密码提示。
-W, —password
当使用-U参数连接本地数据库或者连接远端数据库时,可通过指定该选项出现输入密码提示。
示例
gs_basebackup -D /home/test/trunk/install/data/backup -h 127.0.0.1 -p 21233 -Fplain -Xstream
INFO: The starting position of the xlog copy of the full build is: 0/1B800000. The slot minimum LSN is: 0/1B800000.
从备份文件恢复数据
当数据库发生故障时需要从备份文件进行恢复。因为gs_basebackup是对数据库按二进制进行备份,因此恢复时可以直接拷贝替换原有的文件, 或者直接在备份的库上启动数据库。
说明:
若当前数据库实例正在运行,直接从备份文件启动数据库可能会存在端口冲突,这时需要修改配置文件的port参数,或者在启动数据库时指定一下端口。
若当前备份文件为主备数据库,可能需要修改一下主备之间的复制连接。即配置文件中的postgresql.conf中的replconninfo1,replconninfo2等。
若要在原库的地方恢复数据库,参考步骤如下:
- 停止数据库服务器, 具体操作请参见《管理员指南》。
- 将原数据库库和所有表空间复制到另外一个位置,以备后面需要。
- 清理原库中的所有或部分文件。
- 使用数据库系统用户权限从备份中还原需要的数据库文件。
- 若数据库中存在链接文件,需要修改使其链接到正确的文件。
- 重启数据库服务器,并检查数据库内容,确保数据库已经恢复到所需的状态。
说明:
暂不支持备份文件增量恢复。
恢复后需要检查数据库中的链接文件是否链接到正确的文件。
gs_probackup
背景信息
gs_probackup是一个用于管理openGauss数据库备份和恢复的工具。它对openGauss实例进行定期备份,以便在数据库出现故障时能够恢复服务器。
- 可用于备份单机数据库或者集群主节点数据库,为物理备份。
- 可备份外部目录的内容,如脚本文件、配置文件、日志文件、dump文件等。
- 支持增量备份、定期备份和远程备份。
- 可设置备份的留存策略。
前提条件
- 可以正常连接openGauss数据库。
- 若要使用PTRACK增量备份,需在postgresql.conf中手动添加参数“enable_cbm_tracking = on”。
限制说明
- 备份必须由运行数据库服务器的用户执行。
- 备份和恢复的数据库服务器的主版本号必须相同。
- 如果要通过ssh在远程模式下备份数据库,需要在本地和远程主机安装相同主版本的数据库,并通过ssh-copy-id remote_user@remote_host命令设置本地主机备份用户和远程主机数据库用户的无密码ssh连接。
- 远程模式下只能执行add-instance、backup、restore子命令。
- 使用restore子命令前,应先停止gaussdb进程。
命令说明
打印gs_probackup版本。
gs_probackup -V|--version
gs_probackup version
显示gs_probackup命令的摘要信息。如果指定了gs_probackup的子命令,则显示可用于此子命令的参数的详细信息。
gs_probackup -?|--help
gs_probackup help [command]
初始化备份路径_backup-path_中的备份目录,该目录将存储已备份的内容。如果备份路径_backup-path_已存在,则_backup-path_必须为空目录。
gs_probackup init -B backup-path [--help]
在备份路径_backup-path_内初始化一个新的备份实例,并生成pg_probackup.conf配置文件,该文件保存了指定数据目录_pgdata-path_的gs_probackup设置。
gs_probackup add-instance -B backup-path -D pgdata-path --instance=instance_name
[-E external-directories-paths]
[remote_options]
[--help]
在备份路径_backup-path_内删除指定实例相关的备份内容。
gs_probackup del-instance -B backup-path --instance=instance_name
[--help]
将指定的连接、压缩、日志等相关设置添加到pg_probackup.conf配置文件中,或修改已设置的值。不推荐手动编辑pg_probackup.conf配置文件。
gs_probackup set-config -B backup-path --instance=instance_name
[-D pgdata-path] [-E external-directories-paths] [--archive-timeout=timeout]
[--retention-redundancy=retention-redundancy] [--retention-window=retention-window] [--wal-depth=wal-depth]
[--compress-algorithm=compress-algorithm] [--compress-level=compress-level]
[-d dbname] [-h hostname] [-p port] [-U username]
[logging_options] [remote_options]
[--help]
将备份相关设置添加到backup.control配置文件中,或修改已设置的值。
gs_probackup set-backup -B backup-path --instance=instance_name -i backup-id
[--note=text] [pinning_options]
[--help]
显示位于备份目录中的pg_probackup.conf配置文件的内容。可以通过指定—format=json选项,以json格式显示。默认情况下,显示为纯文本格式。
gs_probackup show-config -B backup-path --instance=instance_name
[--format=plain|json]
[--help]
显示备份目录的内容。如果指定了instance_name和backup_id,则显示该备份的详细信息。可以通过指定—format=json选项,以json格式显示。默认情况下,备份目录的内容显示为纯文本格式。
gs_probackup show -B backup-path
[--instance=instance_name [-i backup-id]] [--archive] [--format=plain|json]
[--help]
创建指定实例的备份。
gs_probackup backup -B backup-path --instance=instance_name -b backup-mode
[-D pgdata-path] [-C] [-S slot-name] [--temp-slot] [--backup-pg-log] [-j threads_num] [--progress]
[--no-validate] [--skip-block-validation] [-E external-directories-paths] [--no-sync] [--note=text]
[--archive-timeout=timeout]
[logging_options] [retention_options] [compression_options]
[connection_options] [remote_options] [pinning_options]
[--help]
从备份目录_backup-path_中的备份副本恢复指定实例。如果指定了恢复目标选项,gs_probackup将查找最近的备份并将其还原到指定的恢复目标。否则,使用最近一次备份。
gs_probackup restore -B backup-path --instance=instance_name
[-D pgdata-path] [-i backup_id] [-j threads_num] [--progress] [--force] [--no-sync] [--no-validate] [--skip-block-validation]
[--external-mapping=OLDDIR=NEWDIR] [-T OLDDIR=NEWDIR] [--skip-external-dirs] [-I incremental_mode]
[recovery_options] [remote_options] [logging_options]
[--help]
将指定的增量备份与其父完全备份之间的所有增量备份合并到父完全备份。父完全备份将接收所有合并的数据,而已合并的增量备份将作为冗余被删除。
gs_probackup merge -B backup-path --instance=instance_name -i backup_id
[-j threads_num] [--progress] [logging_options]
[--help]
删除指定备份,或删除不满足当前保留策略的备份。
gs_probackup delete -B backup-path --instance=instance_name
[-i backup-id | --delete-expired | --merge-expired | --status=backup_status]
[--delete-wal] [-j threads_num] [--progress]
[--retention-redundancy=retention-redundancy] [--retention-window=retention-window]
[--wal-depth=wal-depth] [--dry-run]
[logging_options]
[--help]
验证恢复数据库所需的所有文件是否存在且未损坏。如果未指定_instance_name_,gs_probackup将验证备份目录中的所有可用备份。如果指定_instance_name_而不指定任何附加选项,gs_probackup将验证此备份实例的所有可用备份。如果指定了_instance_name_并且指定_backup-id_或恢复目标相关选项,gs_probackup将检查是否可以使用这些选项恢复数据库。
gs_probackup validate -B backup-path
[--instance=instance_name] [-i backup-id]
[-j threads_num] [--progress] [--skip-block-validation]
[--recovery-target-time=time | --recovery-target-xid=xid | --recovery-target-lsn=lsn | --recovery-target-name=target-name]
[--recovery-target-inclusive=boolean]
[logging_options]
[--help]
参数说明
通用参数
command
gs_probackup除version和help以外的子命令:init、add-instance、del-instance、set-config、set-backup、show-config、show、backup、restore、merge、delete、validate。
-?, —help
显示gs_probackup命令行参数的帮助信息,然后退出。
子命令中只能使用—help,不能使用-?。
-V, —version
打印gs_probackup版本,然后退出。
-B backup-path, —backup-path=backup-path
备份的路径。
系统环境变量:$BACKUP_PATH
-D pgdata-path, —pgdata=pgdata-path
数据目录的路径。
系统环境变量:$PGDATA
--instance=instance_name
实例名。
-i backup-id, —backup-id=backup-id
备份的唯一标识。
--format=format
指定显示备份信息的格式,支持plain和json格式。
默认值:plain
--status=backup_status
删除指定状态的所有备份。
- OK :备份已完成且有效。
- DONE:备份已完成但未经过验证。
- RUNNING:备份正在进行中。
- MERGING:备份正在合并中。
- DELTING:备份正在删除中。
- CORRUPT:部分备份文件已损坏。
- ERROR:由于意外错误,备份失败。
- ORPHAN:由于其父备份之一已损坏或丢失,备份无效。
-j threads_num, —threads=threads_num
设置备份、还原、合并进程的并行线程数。
--archive
显示WAL归档信息。
--progress
显示进度。
--note=text
给备份添加note。
备份相关参数
-b backup-mode, —backup-mode=backup-mode
指定备份模式,支持FULL和PTRACK。
FULL:创建全量备份,全量备份包含所有数据文件。
PTRACK:创建PTRACK增量备份。
-C, —smooth-checkpoint
将检查点在一段时间内展开。默认情况下,gs_probackup会尝试尽快完成检查点。
-S slot-name, —slot=slot-name
指定WAL流处理的复制slot。
--temp-slot
在备份的实例中为WAL流处理创建一个临时物理复制slot,它确保在备份过程中,所有所需的WAL段仍然是可用的。
默认的slot名为pg_probackup_slot,可通过选项—slot/-S更改。
--backup-pg-log
将日志目录包含到备份中。此目录通常包含日志消息。默认情况下不包含日志目录。guc参数log_directory为pg_log时该参数生效。
-E external-directories-paths, —external-dirs=external-directories-paths
将指定的目录包含到备份中。此选项对于备份位于数据目录外部的脚本、sql转储和配置文件很有用。如果要备份多个外部目录,请在Unix上用冒号分隔它们的路径。
例如:-E /tmp/dir1:/tmp/dir2
--skip-block-validation
关闭块级校验,加快备份速度。
--no-validate
在完成备份后跳过自动验证。
--no-sync
不将备份文件同步到磁盘。
--archive-timeout=timeout
以秒为单位设置流式处理的超时时间。
默认值:300
恢复相关参数
-I, —incremental-mode=none|checksum|lsn
若PGDATA中可用的有效页没有修改,则重新使用它们。
默认值:none
--external-mapping=OLDDIR=NEWDIR
在恢复时,将包含在备份中的外部目录从_OLDDIR_重新定位到_NEWDIR_目录。_OLDDIR_和_NEWDIR_都必须是绝对路径。如果路径中包含“=”,则使用反斜杠转义。此选项可为多个目录多次指定。
-T OLDDIR=NEWDIR, —tablespace-mapping=OLDDIR=NEWDIR
在恢复时,将表空间从_OLDDIR_重新定位到_NEWDIR_目录。_OLDDIR_和_NEWDIR_必须都是绝对路径。如果路径中包含“=”,则使用反斜杠转义。多个表空间可以多次指定此选项。此选项必须和—external-mapping一起使用。
--skip-external-dirs
跳过备份中包含的使用—external-dirs选项指定的外部目录。这些目录的内容将不会被恢复。
--skip-block-validation
跳过块级校验,以加快验证速度。在恢复之前的自动验证期间,将仅做文件级别的校验。
--no-validate
跳过备份验证。
--force
允许忽略备份的无效状态。如果出于某种原因需要从损坏的或无效的备份中恢复数据,可以使用此标志。请谨慎使用。
恢复目标相关参数(recovery_options)
说明:
当前不支持配置连续的WAL归档的PITR,因而使用这些参数会有一定限制,具体如下描述。 如果需要使用持续归档的WAL日志进行PITR恢复,请按照下面描述的步骤:
- 将物理备份的文件替换目标数据库目录。
- 删除数据库目录下pg_xlog/中的所有文件。
- 将归档的WAL日志文件复制到pg_xlog文件中(此步骤可以省略,通过配置recovery.conf恢复命令文件中的restore_command项替代)。
- 在数据库目录下创建恢复命令文件recovery.conf,指定数据库恢复的程度。
- 启动数据库。
- 连接数据库,查看是否恢复到希望预期的状态。若已经恢复到预期状态,通过pg_xlog_replay_resume()指令使主节点对外提供服务。
--recovery-target-lsn=lsn
指定要恢复到的lsn,当前只能指定备份的stop lsn。
--recovery-target-name=target-name
指定要将数据恢复到的已命名的保存点,保存点可以通过查看备份中recovery-name字段得到。
--recovery-target-time=time
指定要恢复到的时间,当前只能指定备份中的recovery-time。
--recovery-target-xid=xid
指定要恢复到的事务ID,当前只能指定备份中的recovery-xid。
--recovery-target-inclusive=boolean
当该参数指定为true时,恢复目标将包括指定的内容。
当该参数指定为false时,恢复目标将不包括指定的内容。
该参数必须和—recovery-target-name、—recovery-target-time、—recovery-target-lsn或—recovery-target-xid一起使用。
留存相关参数(retention_options)
说明:
可以和backup和delete命令一起使用这些参数。
--retention-redundancy=retention-redundancy
指定在数据目录中留存的完整备份数。必须为正整数。0表示禁用此设置。
默认值:0
--retention-window=retention-window
指定留存的天数。必须为正整数。0表示禁用此设置。
默认值:0
--wal-depth=wal-depth
每个时间轴上必须留存的执行PITR能力的最新有效备份数。必须为正整数。0表示禁用此设置。
默认值:0
--delete-wal
从任何现有的备份中删除不需要的WAL文件。
--delete-expired
删除不符合pg_probackup.conf配置文件中定义的留存策略的备份。
--merge-expired
将满足留存策略要求的最旧的增量备份与其已过期的父备份合并。
--dry-run
显示所有可用备份的当前状态,不删除或合并过期备份。
固定备份相关参数(pinning_options)
说明:
如果要将某些备份从已建立的留存策略中排除,可以和backup和set-backup命令一起使用这些参数。
--ttl=interval
指定从恢复时间开始计算,备份要固定的时间量。必须为正整数。0表示取消备份固定。
支持的单位:ms, s, min, h, d(默认为s)。
例如:—ttl=30d。
--expire-time=time
指定备份固定失效的时间戳。必须是ISO-8601标准的时间戳。
例如:—expire-time=’2020-01-01 00:00:00+03’
日志相关参数(logging_options)
日志级别:verbose、log、info、warning、error和off。
--log-level-console=log-level-console
设置要发送到控制台的日志级别。每个级别都包含其后的所有级别。级别越高,发送的消息越少。指定off级别表示禁用控制台日志记录。
默认值:info
--log-level-file=log-level-file
设置要发送到日志文件的日志级别。每个级别都包含其后的所有级别。级别越高,发送的消息越少。指定off级别表示禁用日志文件记录。
默认值:off
--log-filename=log-filename
指定要创建的日志文件的文件名。文件名可以使用strftime模式,因此可以使用%-escapes指定随时间变化的文件名。
例如,如果指定了“pg_probackup-%u.log”模式,则pg_probackup为每周的每一天生成单独的日志文件,其中%u替换为相应的十进制数字,即pg_probackup-1.log表示星期一;pg_probackup-2.log表示星期二,以此类推。
如果指定了—log-level-file参数启用日志文件记录,则该参数有效。
默认值:”pg_probackup.log”
--error-log-filename=error-log-filename
指定仅用于error日志的日志文件名。指定方式与—log-filename参数相同。
此参数用于故障排除和监视。
--log-directory=log-directory
指定创建日志文件的目录。必须是绝对路径。此目录会在写入第一条日志时创建。
默认值:$BACKUP_PATH/log
--log-rotation-size=log-rotation-size
指定单个日志文件的最大大小。如果达到此值,则启动gs_probackup命令后,日志文件将循环,但help和version命令除外。0表示禁用基于文件大小的循环。
支持的单位:KB、MB、GB、TB(默认为KB)。
默认值:0
--log-rotation-age=log-rotation-age
单个日志文件的最大生命周期。如果达到此值,则启动gs_probackup命令后,日志文件将循环,但help和version命令除外。$BACKUP_PATH/log/log_rotation目录下保存最后一次创建日志文件的时间。0表示禁用基于时间的循环。
支持的单位:ms, s, min, h, d(默认为min)。
默认值:0
连接相关参数(connection_options)
说明:
可以和backup命令一起使用这些参数。
-d dbname, —pgdatabase=dbname
指定要连接的数据库名称。该连接仅用于管理备份进程,因此您可以连接到任何现有的数据库。如果命令行、PGDATABASE环境变量或pg_probackup.conf配置文件中没有指定此参数,则gs_probackup会尝试从PGUSER环境变量中获取该值。如果未设置PGUSER变量,则从当前用户名获取。
系统环境变量:$PGDATABASE
-h hostname, —pghost=hostname
指定运行服务器的系统的主机名。如果该值以斜杠开头,则被用作到Unix域套接字的路径。
系统环境变量:$PGHOST
默认值:local socket
-p port, —pgport=p__ort
指定服务器正在侦听连接的TCP端口或本地Unix域套接字文件扩展名。
系统环境变量:$PGPORT
默认值:5432
-U username, —pguser=username
指定所连接主机的用户名。
系统环境变量:$PGUSER
-w, —no-password
不出现输入密码提示。如果主机要求密码认证并且密码没有通过其它形式给出,则连接尝试将会失败。 该选项在批量工作和不存在用户输入密码的脚本中很有帮助。
-W password, —password=password
指定用户连接的密码。如果主机的认证策略是trust,则不会对系统管理员进行密码验证,即无需输入-W选项;如果没有-W选项,并且不是系统管理员,则会提示用户输入密码。
压缩相关参数(compression_options)
说明:
可以和backup命令一起使用这些参数。
--compress-algorithm=compress-algorithm
指定用于压缩数据文件的算法。
取值包括zlib、pglz和none。如果设置为zlib或pglz,此选项将启用压缩。默认情况下,压缩功能处于关闭状态。
默认值:none
--compress-level=compress-level
指定压缩级别。取值范围:0~9
- 0表示无压缩。
- 1表示压缩比最小,处理速度最快。
- 9表示压缩比最大,处理速度最慢。
- 可与—compress-algorithm选项一起使用。
默认值:1
--compress
以—compress-algorithm=zlib和—compress-level=1进行压缩。
远程模式相关参数(remote_options)
说明:
通过SSH远程运行gs_probackup操作的相关参数。可以和add-instance、set-config、backup、restore命令一起使用这些参数。
--remote-proto=protocol
指定用于远程操作的协议。目前只支持SSH协议。取值包括:
ssh:通过SSH启用远程备份模式。这是默认值。
none:显式禁用远程模式。
如果指定了—remote-host参数,可以省略此参数。
--remote-host=destination
指定要连接的远程主机的IP地址或主机名。
--remote-port=port
指定要连接的远程主机的端口号。
默认值:22
--remote-user=username
指定SSH连接的远程主机用户。如果省略此参数,则使用当前发起SSH连接的用户。
默认值:当前用户
--remote-path=path
指定gs_probackup在远程系统的安装目录。
默认值:当前路径
--ssh-options=ssh_options
指定SSH命令行参数的字符串。
例如:—ssh-options=’-c cipher_spec -F configfile’
备份流程
初始化备份目录。在指定的目录下创建backups/和wal/子目录,分别用于存放备份文件和WAL文件。
gs_probackup init -B backup_dir
添加一个新的备份实例。gs_probackup可以在同一个备份目录下存放多个数据库实例的备份。
gs_probackup add-instance -B backup_dir -D data_dir --instance instance_name
创建指定实例的备份。在进行增量备份之前,必须至少创建一次全量备份。
gs_probackup backup -B backup_dir --instance instance_name -b backup_mode
从指定实例的备份中恢复数据。
gs_probackup restore -B backup_dir --instance instance_name -D pgdata-path -i backup_id
故障处理
ERROR: query failed: ERROR: canceling statement due to conflict with recovery
PITR恢复
背景信息
当数据库崩溃或希望回退到数据库之前的某一状态时,opengauss的即时恢复功能(Point-In-Time Recovery,简称PITR)可以支持恢复到备份归档数据之后的任意时间点。
说明:
PITR仅支持恢复到物理备份数据之后的某一时间点。
仅主节点可以进行PITR恢复,备机需要进行全量build达成与主机数据同步。
前提条件
- 基于经过物理备份的全量数据文件。
- 基于已归档的WAL日志文件。
PITR恢复流程
- 将物理备份的文件替换目标数据库目录。
- 删除数据库目录下pg_xlog/中的所有文件。
- 将归档的WAL日志文件复制到pg_xlog文件中(此步骤可以省略,通过配置recovery.conf恢复命令文件中的restore_command项替代)。
- 在数据库目录下创建恢复命令文件recovery.conf,指定数据库恢复的程度。
- 启动数据库。
- 连接数据库,查看是否恢复到希望预期的状态。
- 若已经恢复到预期状态,通过pg_xlog_replay_resume()指令使主节点对外提供服务。
recovery.conf文件配置
归档恢复配置
- restore_command = string
这个SHELL命令是获取WAL文件系列中已归档的WAL文件。字符串中的任何一个%f是用归档检索中的文件名替换, 并且%p是用服务器上的复制目的地的路径名替换。 任意一个%r是用包含最新可用重启点的文件名替换。
示例:
restore_command = 'cp /mnt/server/archivedir/%f %p'
- archive_cleanup_command = string
这个选项参数声明一个shell命令。在每次重启时会执行这个shell命令。 archive_cleanup_command为清理备库不需要的归档WAL文件提供一个机制。 任何一个%r由包含最新可用重启点的文件名代替。这是最早的文件, 因此必须_保留_以允许恢复能够重新启动,因此所有早于%r的文件可以安全的移除。
示例:
archive_cleanup_command = 'pg_archivecleanup /mnt/server/archivedir %r'
需要注意的是,如果多个备服务器从相同的归档路径恢复时, 需要确保在任何一个备服务器在需要之前,不能删除WAL文件。
- recovery_end_command = string
这个参数是可选的,用于声明一个只在恢复完成时执行的SHELL命令。 recovery_end_command是为以后的复制或恢复提供一个清理机制。
恢复目标设置
- recovery_target_name = string
此参数声明命名还原到一个使用pg_create_restore_point()创建的还原点。
示例:
recovery_target_name = 'restore_point_1'
- recovery_target_time = timestamp
此参数声明命名还原到一个指定时间戳。
示例:
recovery_target_time = '2020-01-01 12:00:00'
- recovery_target_xid = string
这个参数声明还原到一个事务ID。
示例:
recovery_target_xid = '3000'
- recovery_target_lsn = string
这个参数声明还原到日志的指定LSN点。
示例:
recovery_target_lsn = '0/0FFFFFF'
- recovery_target_inclusive = boolean
声明是否在指定恢复目标(true)之后停止,或在这(false)之前停止。改声明仅支持恢复目标为recovery_target_time,recovery_target_xid和recovery_target_lsn的配置。
示例:
recovery_target_inclusive = true
说明:
recovery_target_name,recovery_target_time,recovery_target_xid,recovery_target_lsn这四个配置项仅同时支持一项。
如果不配置任何恢复目标,或配置目标不存在,则默认恢复到最新的WAL日志点。
逻辑备份恢复
gs_dump
背景信息
gs_dump是openGauss用于导出数据库相关信息的工具,用户可以自定义导出一个数据库或其中的对象(模式、表、视图等)。支持导出的数据库可以是默认数据库postgres,也可以是自定义数据库。
gs_dump工具由操作系统用户omm执行。
gs_dump工具在进行数据导出时,其他用户可以访问openGauss数据库(读或写)。
gs_dump工具支持导出完整一致的数据。例如,T1时刻启动gs_dump导出A数据库,那么导出数据结果将会是T1时刻A数据库的数据状态,T1时刻之后对A数据库的修改不会被导出。
gs_dump支持将数据库信息导出至纯文本格式的SQL脚本文件或其他归档文件中。
- 纯文本格式的SQL脚本文件:包含将数据库恢复为其保存时的状态所需的SQL语句。通过gsql运行该SQL脚本文件,可以恢复数据库。即使在其他主机和其他数据库产品上,只要对SQL脚本文件稍作修改,也可以用来重建数据库。有关gsql的详细介绍,请参考工具参考中的“gsql”。
- 归档格式文件:包含将数据库恢复为其保存时的状态所需的数据,可以是tar格式、目录归档格式或自定义归档格式,详见表1。该导出结果必须与gs_restore配合使用来恢复数据库,gs_restore工具在导入时,系统允许用户选择需要导入的内容,甚至可以在导入之前对等待导入的内容进行排序。
主要功能
gs_dump可以创建四种不同的导出文件格式,通过**[-F或者—format=]**选项指定,具体如表1所示。
表 1 导出文件格式
说明:
可以使用gs_dump程序将文件压缩为纯文本或自定义归档导出文件,减少导出文件的大小。生成纯文本导出文件时,默认不压缩。生成自定义归档导出文件时,默认进行中等级别的压缩。gs_dump程序无法压缩已归档导出文件。通过压缩方式导出纯文本格式文件,gsql无法成功导入数据对象。
注意事项
禁止修改导出的文件和内容,否则可能无法恢复成功。
为了保证数据一致性和完整性,gs_dump会对需要转储的表设置共享锁。如果表在别的事务中设置了共享锁,gs_dump会等待锁释放后锁定表。如果无法在指定时间内锁定某个表,转储会失败。用户可以通过指定—lock-wait-timeout选项,自定义等待锁超时时间。
语法
gs_dump [OPTION]... [DBNAME]
说明: “dbname”前面不需要加短或长选项。“dbname”指定要连接的数据库。 例如: 不需要-d,直接指定“dbname”。
gs_dump -p port_number postgres -f dump1.sql
或者
export PGDATABASE=postgres
gs_dump -p port_number -f dump1.sql
环境变量: PGDATABASE
参数说明
通用参数:
-f, —file=FILENAME
将输出发送至指定文件或目录。如果省略该参数,则使用标准输出。如果输出格式为(-F c/-F d/-F t)时,必须指定-f参数。如果-f的参数值含有目录,要求当前用户对该目录具有读写权限,并且不能指定已有目录。
-F, —format=c|d|t|p
选择输出格式。格式如下:
p|plain:输出一个文本SQL脚本文件(默认)。
c|custom:输出一个自定义格式的归档,并且以目录形式输出,作为gs_restore输入信息。该格式是最灵活的输出格式,因为能手动选择,而且能在恢复过程中将归档项重新排序。该格式默认状态下会被压缩。
d|directory:该格式会创建一个目录,该目录包含两类文件,一类是目录文件,另一类是每个表和blob对象对应的数据文件。
t|tar:输出一个tar格式的归档形式,作为gs_restore输入信息。tar格式与目录格式兼容;tar格式归档形式在提取过程中会生成一个有效的目录格式归档形式。但是,tar格式不支持压缩且对于单独表有8GB的大小限制。此外,表数据项的相应排序在恢复过程中不能更改。
输出一个tar格式的归档形式,也可以作为gsql输入信息。
-v, —verbose
指定verbose模式。该选项将导致gs_dump向转储文件输出详细的对象注解和启动/停止次数,向标准错误流输出处理信息。
-V, —version
打印gs_dump版本,然后退出。
-Z, —compress=0-9
指定使用的压缩比级别。
取值范围:0~9
- 0表示无压缩。
- 1表示压缩比最小,处理速度最快。
- 9表示压缩比最大,处理速度最慢。
针对自定义归档格式,该选项指定单个表数据片段的压缩,默认方式是以中等级别进行压缩。p、tar归档格式目前不支持压缩。
--lock-wait-timeout=TIMEOUT
请勿在转储刚开始时一直等待以获取共享表锁。如果无法在指定时间内锁定某个表,就选择失败。可以以任何符合SET statement_timeout的格式指定超时时间。
-?, —help
显示gs_dump命令行参数帮助,然后退出。
转储参数:
-a, —data-only
只输出数据,不输出模式(数据定义)。转储表数据、大对象和序列值。
-b, —blobs
该参数为扩展预留接口,不建议使用。
-c, —clean
在将创建数据库对象的指令输出到备份文件之前,先将清理(删除)数据库对象的指令输出到备份文件中。(如果目标数据库中没有任何对象,gs_restore工具可能会输出一些提示性的错误信息)
该选项只对文本格式有意义。针对归档格式,可以调用gs_restore时指定选项。
-C, —create
备份文件以创建数据库和连接到创建的数据库的命令开始。(如果命令脚本是这种方式执行,可以先指定任意数据库用于执行创建数据库的命令,数据不会恢复到指定的数据库中,而是恢复到创建的数据库中。)
该选项只对文本格式有意义。针对归档格式,可以在调用gs_restore时指定选项。
-E, —encoding=ENCODING
以指定的字符集编码创建转储。默认情况下,以数据库编码创建转储。(得到相同结果的另一个办法是将环境变量“PGCLIENTENCODING”设置为所需的转储编码。)
-n, —schema=SCHEMA
只转储与模式名称匹配的模式,此选项包括模式本身和所有它包含的对象。如果该选项没有指定,所有在目标数据库中的非系统模式将会被转储。写入多个-n选项来选择多个模式。此外,根据gsql的\d命令所使用的相同规则,模式参数可被理解成一个pattern,所以多个模式也可以通过在该pattern中写入通配符来选择。使用通配符时,注意给pattern打引号,防止shell扩展通配符。
说明:
当-n已指定时,gs_dump不会转储已选模式所附着的任何其他数据库对象。因此,无法保证某个指定模式的转储结果能够自行成功地储存到一个空数据库中。
当-n指定时,非模式对象不会被转储。
转储支持多个模式的转储。多次输入-n schemaname转储多个模式。
例如:
gs_dump -h host_name -p port_number postgres -f backup/bkp_shl2.sql -n sch1 -n sch2
在上面这个例子中,sch1和sch2会被转储。
-N, —exclude-schema=SCHEMA
不转储任何与模式pattern匹配的模式。pattern将参照针对-n的相同规则来理解。可以通过输入多次-N,不转储与任何pattern匹配的模式。
当同时输入-n和-N时,会转储与至少一个-n选项匹配、与-N选项不匹配的模式。如果有-N没有-n,则不转储常规转储中与-N匹配的模式。
转储过程支持排除多个模式。
在转储过程中,输入-N exclude schema name排除多个模式。
例如:
gs_dump -h host_name -p port_number postgres -f backup/bkp_shl2.sql -N sch1 -N sch2
在上面这个例子中,sch1和sch2在转储过程中会被排除。
-o, —oids
转储每个表的对象标识符(OIDs),作为表的一部分数据。该选项用于应用以某种方式参照了OID列的情况。如果不是以上这种情况,请勿使用该选项。
-O, —no-owner
不输出设置对象的归属这样的命令,以匹配原始数据库。默认情况下,gs_dump会发出ALTER OWNER或SET SESSION AUTHORIZATION语句设置所创建的数据库对象的归属。如果脚本正在运行,该语句不会执行成功,除非是由系统管理员触发(或是拥有脚本中所有对象的同一个用户)。通过指定-O,编写一个任何用户都能存储的脚本,且该脚本会授予该用户拥有所有对象的权限。
该选项只对文本格式有意义。针对归档格式,可以在调用gs_restore时指定选项。
-s, —schema-only
只转储对象定义(模式),而非数据。
-S, —sysadmin=NAME
该参数为扩展预留接口,不建议使用。
-t, —table=TABLE
指定转储的表(或视图、或序列、或外表)对象列表,可以使用多个-t选项来选择多个表,也可以使用通配符指定多个表对象。
当使用通配符指定多个表对象时,注意给pattern打引号,防止shell扩展通配符。
当使用-t时,-n和-N没有任何效应,这是因为由-t选择的表的转储不受那些选项的影响。
说明:
-t参数选项个数必须小于等于100。
如果-t参数选项个数大于100,建议使用参数—include-table-file来替换。
当-t已指定时,gs_dump不会转储已选表所附着的任何其他数据库对象。因此,无法保证某个指定表的转储结果能够自行成功地储存到一个空数据库中。
-t tablename只转储在默认搜索路径中可见的表。-t ‘*.tablename’转储数据库下所有模式下的tablename表。-t schema.table转储特定模式中的表。
-t tablename不会导出表上的触发器信息。
例如:
gs_dump -h host_name -p port_number postgres -f backup/bkp_shl2.sql -t schema1.table1 -t schema2.table2
在上面这个例子中,schema1.table1和schema2.table2会被转储。
--include-table-file=FILENAME
指定需要dump的表文件。
-T, —exclude-table=TABLE
不转储的表(或视图、或序列、或外表)对象列表,可以使用多个-T选项来选择多个表,也可以使用通配符指定多个表对象。
当同时输入-t和-T时,会转储在-t列表中,而不在-T列表中的表对象。
例如:
gs_dump -h host_name -p port_number postgres -f backup/bkp_shl2.sql -T table1 -T table2
在上面这个例子中,table1和table2在转储过程中会被排除。
--exclude-table-file=FILENAME
指定不需要dump的表文件。
说明:
同--include-table-file,其内容格式如下:
schema1.table1
schema2.table2
......
-x, —no-privileges|—no-acl
防止转储访问权限(授权/撤销命令)。
--binary-upgrade
该参数为扩展预留接口,不建议使用。
--binary-upgrade-usermap=”USER1=USER2”
该参数为扩展预留接口,不建议使用。
--column-inserts|—attribute-inserts
以INSERT命令带列名(INSERT INTO表(列、…)值…)方式导出数据。这会导致恢复缓慢。但是由于该选项会针对每行生成一个独立分开的命令,所以在重新加载某行时出现的错误只会导致那行丢失,而非整个表内容。
--disable-dollar-quoting
该选项将禁止在函数体前使用美元符号$,并强制使用SQL标准字符串语法对其进行引用。
--disable-triggers
该参数为扩展预留接口,不建议使用。
--exclude-table-data=TABLE
指定不转储任何匹配表pattern的表这方面的数据。依照针对-t的相同规则理解该pattern。
可多次输入—exclude-table-data来排除匹配任何pattern的表。当用户需要特定表的定义但不需要其中的数据时,这个选项很有帮助。
排除数据库中所有表的数据,参见--schema-only。
--inserts
发出INSERT命令(而非COPY命令)转储数据。这会导致恢复缓慢。
但是由于该选项会针对每行生成一个独立分开的命令,所以在重新加载某行时出现的错误只会导致那行丢失,而非整个表内容。注意:如果重排列顺序,可能会导致整个恢复失败。列顺序改变时,—column-inserts选项不受影响,虽然会更慢。
--no-security-labels
该参数为扩展预留接口,不建议使用。
--no-tablespaces
不输出选择表空间的命令。使用该选项,无论默认表空间是哪个,在恢复过程中所有对象都会被创建。
该选项只对文本格式有意义。针对归档格式,可以在调用gs_restore时指定选项。
--no-unlogged-table-data
该参数为扩展预留接口,不建议使用。
--non-lock-table
该参数为扩展预留接口,不建议使用。
--include-alter-table
转储表删除列。该选项会记录列的删除。
--quote-all-identifiers
强制对所有标识符加引号。为了向后续版本迁移,且其中可能涉及引入额外关键词,在转储相应数据库时该选项会有帮助。
--section=SECTION
指定已转储的名称区段(pre-data、data、和post-data)。
--serializable-deferrable
转储过程中使用可串行化事务,以确保所使用的快照与之后的数据库状态一致;要实现该操作需要在无异常状况的事务流中等待某个点,因为这样才能保证转储成功,避免引起其他事务出现serialization_failure要重新再做。
但是该选项对于灾难恢复没有益处。对于在原始数据库进行升级的时候,加载一个数据库的拷贝作为报告或其他只读加载共享的转储是有帮助的。没有这个选项,转储会反映一个与任何事务最终提交的序列化执行不一致的状态。
如果当gs_dump启动时,读写事务仍处于非活动状态,即便使用该选项也不会对其产生影响。如果读写事务处于活动状态,转储的开始时间可能会延迟一段不确定的时间。
--use-set-session-authorization
输出符合SQL标准的SET SESSION AUTHORIZATION命令而不是ALTER OWNER命令来确定对象所有权。这样令转储更加符合标准,但是如果转储文件中的对象的历史有些问题,那么可能不能正确恢复。并且,使用SET SESSION AUTHORIZATION的转储需要数据库系统管理员的权限才能转储成功,而ALTER OWNER需要的权限则低得多。
--with-encryption=AES128
指定转储数据需用AES128进行加密。
--with-key=KEY
AES128密钥长度必须是16字节。
说明:
使用gs_dump工具进行加密导出时,仅支持plain格式导出。通过-F plain导出的数据,需要通过gsql工具进行导入,且如果以加密方式导入,在通过gsql导入时,需要指定—with-key参数。
--include-depend-objs
备份结果包含依赖于指定对象的对象信息。该参数需要同-t/—include-table-file参数关联使用才会生效。
--exclude-self
备份结果不包含指定对象自身的信息。该参数需要同-t/—include-table-file参数关联使用才会生效。
--dont-overwrite-file
文本、tar、以及自定义格式情况下会重写现有文件。这对目录格式不适用。
例如:
设想这样一种情景,即当前目录下backup.sql已存在。如果在输入命令中输入-f backup.sql选项时,当前目录恰好也生成backup.sql,文件就会被重写。
如果备份文件已存在,且输入—dont-overwrite-file选项,则会报告附带‘转储文件已经存在’信息的错误。
gs_dump -p port_number postgres -f backup.sql -F plain --dont-overwrite-file
说明:
-s/—schema-only和-a/—data-only不能同时使用。
-c/—clean和-a/—data-only不能同时使用。
--inserts/—column-inserts和-o/—oids不能同时使用,因为INSERT命令不能设置OIDS。
--role和—rolepassword必须一起使用。
--binary-upgrade-usermap和—binary-upgrade必须一起使用。
--include-depend-objs/—exclude-self需要同-t/—include-table-file参数关联使用才会生效。
--exclude-self必须同—include-depend-objs一起使用。
连接参数:
-h, —host=HOSTNAME
指定主机名称。如果数值以斜杠开头,则被用作到Unix域套接字的路径。缺省从PGHOST环境变量中获取(如果已设置),否则,尝试一个Unix域套接字连接。
该参数只针对openGauss外,对openGauss内本机只能用127.0.0.1。
例如:主机名
环境变量:PGHOST
-p, —port=PORT
指定主机端口。在开启线程池情况下,建议使用 pooler port,即主机端口+1。
环境变量:PGPORT
-U, —username=NAME
指定所连接主机的用户名。
不指定连接主机的用户名时,用户默认系统管理员。
环境变量:PGUSER
-w, —no-password
不出现输入密码提示。如果主机要求密码认证并且密码没有通过其它形式给出,则连接尝试将会失败。 该选项在批量工作和不存在用户输入密码的脚本中很有帮助。
-W, —password=PASSWORD
指定用户连接的密码。如果主机的认证策略是trust,则不会对系统管理员进行密码验证,即无需输入-W选项;如果没有-W选项,并且不是系统管理员,“Dump Restore工具”会提示用户输入密码。
--role=ROLENAME
指定创建转储使用的角色名。选择该选项,会使gs_dump连接数据库后,发起一个SET ROLE角色名命令。当所授权用户(由-U指定)没有gs_dump要求的权限时,该选项会起到作用,即切换到具备相应权限的角色。某些安装操作规定不允许直接以超系统管理员身份登录,而使用该选项能够在不违反该规定的情况下完成转储。
--rolepassword=ROLEPASSWORD
指定角色名的密码。
说明
如果openGauss有任何本地数据要添加到template1数据库,请谨慎将gs_dump的输出恢复到一个真正的空数据库中,否则可能会因为被添加对象的定义被复制,出现错误。要创建一个无本地添加的空数据库,需从template0而非template1复制,例如:
CREATE DATABASE foo WITH TEMPLATE template0;
tar归档形式的文件大小不得超过8GB(tar文件格式的固有限制)。tar文档整体大小和任何其他输出格式没有限制,操作系统可能对此有要求。
由gs_dump生成的转储文件不包含优化程序用来做执行计划决定的统计数据。因此,最好从某转储文件恢复之后运行ANALYZE以确保最佳效果。转储文件不包含任何ALTER DATABASE…SET命令,这些设置由gs_dumpall转储,还有数据库用户和其他完成安装设置。
示例
使用gs_dump转储数据库为SQL文本文件或其它格式的操作,如下所示。
示例中“Bigdata@123”表示数据库用户密码;“backup/MPPDB_backup.sql”表示导出的文件,其中backup表示相对于当前目录的相对目录;“37300”表示数据库服务器端口;“postgres”表示要访问的数据库名。
说明:
导出操作时,请确保该目录存在并且当前的操作系统用户对其具有读写权限。
示例1:执行gs_dump,导出postgres数据库全量信息,导出的MPPDB_backup.sql文件格式为纯文本格式。
gs_dump -U omm -W Bigdata@123 -f backup/MPPDB_backup.sql -p 37300 postgres -F p
gs_dump[port='37300'][postgres][2018-06-27 09:49:17]: The total objects number is 356.
gs_dump[port='37300'][postgres][2018-06-27 09:49:17]: [100.00%] 356 objects have been dumped.
gs_dump[port='37300'][postgres][2018-06-27 09:49:17]: dump database postgres successfully
gs_dump[port='37300'][postgres][2018-06-27 09:49:17]: total time: 1274 ms
使用gsql程序从纯文本导出文件中导入数据。
示例2:执行gs_dump,导出postgres数据库全量信息,导出的MPPDB_backup.tar文件格式为tar格式。
gs_dump -U omm -W Bigdata@123 -f backup/MPPDB_backup.tar -p 37300 postgres -F t
gs_dump[port='37300'][postgres][2018-06-27 10:02:24]: The total objects number is 1369.
gs_dump[port='37300'][postgres][2018-06-27 10:02:53]: [100.00%] 1369 objects have been dumped.
gs_dump[port='37300'][postgres][2018-06-27 10:02:53]: dump database postgres successfully
gs_dump[port='37300'][postgres][2018-06-27 10:02:53]: total time: 50086 ms
示例3:执行gs_dump,导出postgres数据库全量信息,导出的MPPDB_backup.dmp文件格式为自定义归档格式。
gs_dump -U omm -W Bigdata@123 -f backup/MPPDB_backup.dmp -p 37300 postgres -F c
gs_dump[port='37300'][postgres][2018-06-27 10:05:40]: The total objects number is 1369.
gs_dump[port='37300'][postgres][2018-06-27 10:06:03]: [100.00%] 1369 objects have been dumped.
gs_dump[port='37300'][postgres][2018-06-27 10:06:03]: dump database postgres successfully
gs_dump[port='37300'][postgres][2018-06-27 10:06:03]: total time: 36620 ms
示例4:执行gs_dump,导出postgres数据库全量信息,导出的MPPDB_backup文件格式为目录格式。
gs_dump -U omm -W Bigdata@123 -f backup/MPPDB_backup -p 37300 postgres -F d
gs_dump[port='37300'][postgres][2018-06-27 10:16:04]: The total objects number is 1369.
gs_dump[port='37300'][postgres][2018-06-27 10:16:23]: [100.00%] 1369 objects have been dumped.
gs_dump[port='37300'][postgres][2018-06-27 10:16:23]: dump database postgres successfully
gs_dump[port='37300'][postgres][2018-06-27 10:16:23]: total time: 33977 ms
示例5:执行gs_dump,导出postgres数据库信息,但不导出/home/MPPDB_temp.sql中指定的表信息。导出的MPPDB_backup.sql文件格式为纯文本格式。
gs_dump -U omm -W Bigdata@123 -p 37300 postgres --exclude-table-file=/home/MPPDB_temp.sql -f backup/MPPDB_backup.sql
gs_dump[port='37300'][postgres][2018-06-27 10:37:01]: The total objects number is 1367.
gs_dump[port='37300'][postgres][2018-06-27 10:37:22]: [100.00%] 1367 objects have been dumped.
gs_dump[port='37300'][postgres][2018-06-27 10:37:22]: dump database postgres successfully
gs_dump[port='37300'][postgres][2018-06-27 10:37:22]: total time: 37017 ms
示例6:执行gs_dump,仅导出依赖于指定表testtable的视图信息。然后创建新的testtable表,再恢复依赖其上的视图。
备份仅依赖于testtable的视图。
gs_dump -s -p 37300 postgres -t PUBLIC.testtable --include-depend-objs --exclude-self -f backup/MPPDB_backup.sql -F p
gs_dump[port='37300'][postgres][2018-06-15 14:12:54]: The total objects number is 331.
gs_dump[port='37300'][postgres][2018-06-15 14:12:54]: [100.00%] 331 objects have been dumped.
gs_dump[port='37300'][postgres][2018-06-15 14:12:54]: dump database postgres successfully
gs_dump[port='37300'][postgres][2018-06-15 14:12:54]: total time: 327 ms
修改testtable名称。
gsql -p 37300 postgres -r -c "ALTER TABLE PUBLIC.testtable RENAME TO testtable_bak;"
创建新的testtable表。
CREATE TABLE PUBLIC.testtable(a int, b int, c int);
还原依赖于testtable的视图。
gsql -p 37300 postgres -r -f backup/MPPDB_backup.sql
相关命令
gs_dumpall
背景信息
gs_dumpall是openGauss用于导出所有数据库相关信息工具,它可以导出openGauss数据库的所有数据,包括默认数据库postgres的数据、自定义数据库的数据、以及openGauss所有数据库公共的全局对象。
gs_dumpall工具由操作系统用户omm执行。
gs_dumpall工具在进行数据导出时,其他用户可以访问openGauss数据库(读或写)。
gs_dumpall工具支持导出完整一致的数据。例如,T1时刻启动gs_dumpall导出openGauss数据库,那么导出数据结果将会是T1时刻该openGauss数据库的数据状态,T1时刻之后对openGauss的修改不会被导出。
gs_dumpall在导出openGauss所有数据库时分为两部分:
- gs_dumpall自身对所有数据库公共的全局对象进行导出,包括有关数据库用户和组,表空间及属性(例如,适用于数据库整体的访问权限)信息。
- gs_dumpall通过调用gs_dump来完成openGauss中各数据库的SQL脚本文件导出,该脚本文件包含将数据库恢复为其保存时的状态所需要的全部SQL语句。
以上两部分导出的结果为纯文本格式的SQL脚本文件,使用gsql运行该脚本文件可以恢复openGauss数据库。
注意事项
- 禁止修改导出的文件和内容,否则可能无法恢复成功。
- 为了保证数据一致性和完整性,gs_dumpall会对需要转储的表设置共享锁。如果某张表在别的事务中设置了共享锁,gs_dumpall会等待此表的锁释放后锁定此表。如果无法在指定时间内锁定某张表,转储会失败。用户可以通过指定—lock-wait-timeout选项,自定义等待锁超时时间。
- 由于gs_dumpall读取所有数据库中的表,因此必须以openGauss管理员身份进行连接,才能导出完整文件。在使用gsql执行脚本文件导入时,同样需要管理员权限,以便添加用户和组,以及创建数据库。
语法
gs_dumpall [OPTION]...
参数说明
通用参数:
-f, —filename=FILENAME
将输出发送至指定文件。如果这里省略,则使用标准输出。
-v, —verbose
指定verbose模式。该选项将导致gs_dumpall向转储文件输出详细的对象注解和启动/停止次数,向标准错误流输出处理信息。
-V, —version
打印gs_dumpall版本,然后退出。
--lock-wait-timeout=TIMEOUT
请勿在转储刚开始时一直等待以获取共享表锁。如果无法在指定时间内锁定某个表,就选择失败。可以以任何符合SET statement_timeout的格式指定超时时间。
-?, —help
显示gs_dumpall命令行参数帮助,然后退出。
转储参数:
-a, —data-only
只转储数据,不转储模式(数据定义)。
-c, —clean
在重新创建数据库之前,执行SQL语句清理(删除)这些数据库。针对角色和表空间的转储命令已添加。
-g, —globals-only
只转储全局对象(角色和表空间),无数据库。
-o, —oids
转储每个表的对象标识符(OIDs),作为表的一部分数据。该选项用于应用以某种方式参照了OID列的情况。如果不是以上这种情况,请勿使用该选项。
-O, —no-owner
不输出设置对象的归属这样的命令,以匹配原始数据库。默认情况下,gs_dumpall会发出ALTER OWNER或SET SESSION AUTHORIZATION语句设置所创建的模式元素的所属。如果脚本正在运行,该语句不会执行成功,除非是由系统管理员触发(或是拥有脚本中所有对象的同一个用户)。通过指定-O,编写一个任何用户都能存储的脚本,且该脚本会授予该用户拥有所有对象的权限。
-r, —roles-only
只转储角色,不转储数据库或表空间。
-s, —schema-only
只转储对象定义(模式),而非数据。
-S, —sysadmin=NAME
在转储过程中使用的系统管理员名称。
-t, —tablespaces-only
只转储表空间,不转储数据库或角色。
-x, —no-privileges
防止转储访问权限(授权/撤销命令)。
--column-inserts|—attribute-inserts
以INSERT命令带列名(INSERT INTO表(列、…)值…)方式导出数据。这会导致恢复缓慢。但是由于该选项会针对每行生成一个独立分开的命令,所以在重新加载某行时出现的错误只会导致那行丢失,而非整个表内容。
--disable-dollar-quoting
该选项将禁止在函数体前使用美元符号$,并强制使用SQL标准字符串语法对其进行引用。
--disable-triggers
该参数为扩展预留接口,不建议使用。
--inserts
发出INSERT命令(而非COPY命令)转储数据。这会导致恢复缓慢。注意:如果重排列顺序,可能会导致恢复整个失败。—column-inserts选项更加安全,虽然可能更慢些。
--no-security-labels
该参数为扩展预留接口,不建议使用。
--no-tablespaces
请勿输出创建表空间的命令,也请勿针对对象选择表空间。使用该选项,无论默认表空间是哪个,在恢复过程中所有对象都会被创建。
--no-unlogged-table-data
该参数为扩展预留接口,不建议使用。
--quote-all-identifiers
强制对所有标识符加引号。为了向后续版本迁移,且其中可能涉及引入额外关键词,在转储相应数据库时该选项会有帮助。
--dont-overwrite-file
不重写当前文件。
--use-set-session-authorization
输出符合SQL标准的SET SESSION AUTHORIZATION命令而不是ALTER OWNER命令来确定对象所有权。这样令转储更加符合标准,但是如果转储文件中的对象的历史有些问题,那么可能不能正确恢复。并且,使用SET SESSION AUTHORIZATION的转储需要数据库系统管理员的权限才能转储成功,而ALTER OWNER需要的权限则低得多。
--with-encryption=AES128
指定转储数据需用AES128进行加密。
--with-key=KEY
AES128密钥长度必须是16字节。
--include-templatedb
转储过程中包含模板库。
--binary-upgrade
该参数为扩展预留接口,不建议使用。
--binary-upgrade-usermap=”USER1=USER2”
该参数为扩展预留接口,不建议使用。
--tablespaces-postfix
该参数为扩展预留接口,不建议使用。
--parallel-jobs
指定备份进程并发数,取值范围为1~1000。
说明:
-g/—globals-only和-r/—roles-only不能同时使用。
-g/—globals-only和-t/—tablespaces-only不能同时使用。
-r/—roles-only和-t/—tablespaces-only不能同时使用。
-s/—schema-only和-a/—data-only不能同时使用。
-r/—roles-only和-a/—data-only不能同时使用。
-t/—tablespaces-only和-a/—data-only不能同时使用。
-g/—globals-only和-a/—data-only不能同时使用。
--tablespaces-postfix和—binary-upgrade必须一起使用。
--binary-upgrade-usermap和—binary-upgrade必须一起使用。
--parallel-jobs和-f/—file必须一起使用。
连接参数:
-h, —host
指定主机的名称。如果取值是以斜线开头,它将用作Unix域套接字的目录。默认值取自PGHOST环境变量;如果没有设置,将启动某个Unix域套接字建立连接。
该参数只针对openGauss外,对openGauss内本机只能用127.0.0.1。
环境变量:PGHOST
-l, —database
指定所连接的转储全局对象的数据库名称,并去寻找还有其他哪些数据库需要被转储。如果没有指定,会使用postgres数据库,如果postgres数据库不存在,会使用template1。
-p, —port
指定服务器所侦听的TCP端口或本地Unix域套接字后缀,以确保连接。默认值设置为PGPORT环境变量。
在开启线程池情况下,建议使用 pooler port,即侦听端口+1。
环境变量:PGPORT
-U, —username
所连接的用户名。
环境变量:PGUSER
-w, —no-password
不出现输入密码提示。如果服务器要求密码认证并且密码没有通过其它形式给出,则连接尝试将会失败。 该选项在批量工作和不存在用户输入密码的脚本中很有帮助。
-W, —password
指定用户连接的密码。如果主机的认证策略是trust,则不会对系统管理员进行密码验证,即无需输入-W选项;如果没有-W选项,并且不是系统管理员,“Dump Restore工具”会提示用户输入密码。
--role
指定创建转储使用的角色名。选择该选项,会使gs_dumpall连接数据库后,发起一个SET ROLE角色名命令。当所授权用户(由-U指定)没有gs_dumpall要求的权限时,该选项会起到作用,即切换到具备相应权限的角色。某些安装操作规定不允许直接以系统管理员身份登录,而使用该选项能够在不违反该规定的情况下完成转储。
--rolepassword
指定具体角色用户的角色密码。
说明
由于gs_dumpall内部调用gs_dump,所以一些诊断信息参见gs_dump。
一旦恢复,最好在每个数据库上运行ANALYZE,优化程序提供有用的统计数据。
gs_dumpall恢复前需要所有必要的表空间目录才能退出;否则,对于处在非默认位置的数据库,数据库创建会失败。
示例
使用gs_dumpall一次导出openGauss的所有数据库。
说明: gs_dumpall仅支持纯文本格式导出。所以只能使用gsql恢复gs_dumpall导出的转储内容。
gs_dumpall -f backup/bkp2.sql -p 37300
gs_dump[port='37300'][dbname='postgres'][2018-06-27 09:55:09]: The total objects number is 2371.
gs_dump[port='37300'][dbname='postgres'][2018-06-27 09:55:35]: [100.00%] 2371 objects have been dumped.
gs_dump[port='37300'][dbname='postgres'][2018-06-27 09:55:46]: dump database dbname='postgres' successfully
gs_dump[port='37300'][dbname='postgres'][2018-06-27 09:55:46]: total time: 55567 ms
gs_dumpall[port='37300'][2018-06-27 09:55:46]: dumpall operation successful
gs_dumpall[port='37300'][2018-06-27 09:55:46]: total time: 56088 ms
相关命令
gs_restore
背景信息
gs_restore是openGauss提供的针对gs_dump导出数据的导入工具。通过此工具可由gs_dump生成的导出文件进行导入。
gs_restore工具由操作系统用户omm执行。
主要功能包含:
导入到数据库
如果连接参数中指定了数据库,则数据将被导入到指定的数据库中。其中,并行导入必须指定连接的密码。
导入到脚本文件
如果未指定导入数据库,则创建包含重建数据库所必须的SQL语句脚本并写入到文件或者标准输出。等效于直接使用gs_dump导出为纯文本格式。
命令格式
gs_restore [OPTION]... FILE
说明:
FILE没有短选项或长选项。用来指定归档文件所处的位置。
作为前提条件,需输入dbname或-l选项。不允许用户同时输入dbname和-l选项。
gs_restore默认是以追加的方式进行数据导入。为避免多次导入造成数据异常,在进行导入时,建议使用”-c” 参数,在重新创建数据库对象前,清理(删除)已存在于将要还原的数据库中的数据库对象。
日志打印无开关,若需隐藏日志,请将日志重定向到日志文件。若恢复表数据时,数据量很大,会分批恢复,因此会多次出现“表数据已完成导入”的日志。
参数说明
通用参数:
-d, —dbname=NAME
连接数据库dbname并直接导入到该数据库中。
-f, —file=FILENAME
指定生成脚本的输出文件,或使用-l时列表的输出文件。
默认是标准输出。
说明:
-f不能同-d一起使用。-F, —format=c|d|t
指定归档格式。由于gs_restore会自动决定格式,因此不需要指定格式。
取值范围:
- c/custom:该归档形式为gs_dump的自定义格式。
- d/directory:该归档形式是一个目录归档形式。
- t/tar:该归档形式是一个tar归档形式。
-l, —list
列出归档形式内容。这一操作的输出可用作-L选项的输入。注意如果像-n或-t的过滤选项与-l使用,过滤选项将会限制列举的项目(即归档形式内容)。
-v, —verbose
指定verbose模式。
-V, —version
打印gs_restore版本,然后退出。
-?, —help
显示gs_restore命令行参数帮助,然后退出。
导入参数:
-a, —data-only
只导入数据,不导入模式(数据定义)。gs_restore的导入是以追加方式进行的。
-c, —clean
在重新创建数据库对象前,清理(删除)已存在于将要还原的数据库中的数据库对象。
-C, —create
导入到数据库之前先创建数据库。(选择该选项后,-d指定的数据库将被用作发布首个CREATE DATABASE命令。所有数据将被导入到创建的数据库中。)
-e, —exit-on-error
当发送SQL语句到数据库时如果出现错误,请退出。默认状态下会继续,且在导入后会显示一系列错误信息。
-I, —index=NAME
只导入已列举的index的定义。允许导入多个index。如果多次输入-I index导入多个index。
例如:
gs_restore -h host_name -p port_number -d postgres -I Index1 -I Index2 backup/MPPDB_backup.tar
在上面这个例子中,Index1和Index2会被导入。
-j, —jobs=NUM
运行gs_restore最耗时的部分(如加载数据、创建index、或创建约束)使用并发任务。该选项能大幅缩短导入时间,即将一个大型数据库导入到某一多处理器的服务器上。
每个任务可能是一个进程或一个线程,这由操作系统决定;每个任务与服务器进行单独连接。
该选项的最优值取决于服务器的硬件设置、客户端、以及网络。还包括这些因素,如CPU核数量、硬盘设置。建议是从增加服务器上的CPU核数量入手,更大的值(服务器上CPU核数量)在很多情况下也能导致数据文件更快的被导入。当然,过高的值会由于超负荷反而导致性能降低。
该选项只支持自定义归档格式。输入文件必须是常规文件(不能是像pipe的文件)。如果是通过脚本文件,而非直接连接数据库服务器,该选项可忽略。而且,多任务不能与—single-transaction选项一起使用。
-L, —use-list=FILENAME
只导入列举在list-file中的那些归档形式元素,导入顺序以它们在文件中的顺序为准。注意如果像-n或-t的过滤选项与-L使用,它们将会进一步限制导入的项目。
一般情况下,list-file是通过编辑前面提到的某个-l参数的输出创建的。文件行的位置可更改或直接删除,也可使用分号(;)在行的开始注出。
-n, —schema=NAME
只导入已列举的模式中的对象。
该选项可与-t选项一起用以导入某个指定的表。
多次输入-n _schemaname_可以导入多个模式。
例如:
gs_restore -h host_name -p port_number -d postgres -n sch1 -n sch2 backup/MPPDB_backup.tar
在上面这个例子中,sch1和sch2会被导入。
-O, —no-owner
不输出设置对象的归属这样的命令,以匹配原始数据库。默认情况下,gs_restore会发出ALTER OWNER或SET SESSION AUTHORIZATION语句设置所创建的模式元素的所属。除非是由系统管理员(或是拥有脚本中所有对象的同一个用户)进行数据库首次连接的操作,否则语句会失败。使用-O选项,任何用户名都可用于首次连接,且该用户拥有所有已创建的对象。
-P, —function=NAME(args)
只导入已列举的函数。请按照函数所在转储文件中的目录,准确拼写函数名称和参数。
当-P单独使用时,表示导入文件中所有’function-name(args)’函数;当-P同-n一起使用时,表示导入指定模式下的’function-name(args)’函数;多次输入-P,而仅指定一次-n,表示所有导入的函数默认都是位于-n模式下的。
可以多次输入-n schema-name -P ‘function-name(args)’同时导入多个指定模式下的函数。
例如:
gs_restore -h host_name -p port_number -d postgres -n test1 -P 'Func1(integer)' -n test2 -P 'Func2(integer)' backup/MPPDB_backup.tar
在上面这个例子中,test1模式下的函数Func1(i integer)和test2模式下的函数Func2(j integer)会被一起导入。
-s, —schema-only
只导入模式(数据定义),不导入数据(表内容)。当前的序列值也不会导入。
-S, —sysadmin=NAME
该参数为扩展预留接口,不建议使用。
-t, —table=NAME
只导入已列举的表定义、数据或定义和数据。该选项与-n选项同时使用时,用来指定某个模式下的表对象。-n参数不输入时,默认为PUBLIC模式。多次输入-n <schemaname> -t <tablename>可以导入指定模式下的多个表。
例如:
导入PUBLIC模式下的table1
gs_restore -h host_name -p port_number -d postgres -t table1 backup/MPPDB_backup.tar
导入test1模式下的test1和test2模式下test2
gs_restore -h host_name -p port_number -d postgres -n test1 -t test1 -n test2 -t test2 backup/MPPDB_backup.tar
导入PUBLIC模式下的table1和test1 模式下test1
gs_restore -h host_name -p port_number -d postgres -n PUBLIC -t table1 -n test1 -t table1 backup/MPPDB_backup.tar
-T, —trigger=NAME
该参数为扩展预留接口。
-x, —no-privileges/—no-acl
防止导入访问权限(grant/revoke命令)。
-1, —single-transaction
执行导入作为一个单独事务(即把命令包围在BEGIN/COMMIT中)。
该选项确保要么所有命令成功完成,要么没有改变应用。该选项意为—exit-on-error。
--disable-triggers
该参数为扩展预留接口,不建议使用。
--no-data-for-failed-tables
默认状态下,即使创建表的命令失败(如表已经存在),表数据仍会被导入。使用该选项,像这种表的数据会被跳过。如果目标数据库已包含想要的表内容,这种行为会有帮助。
该选项只有在直接导入到某数据库中时有效,不针对生成SQL脚本文件输出。
--no-security-labels
该参数为扩展预留接口,不建议使用。
--no-tablespaces
不输出选择表空间的命令。使用该选项,无论默认表空间是哪个,在导入过程中所有对象都会被创建。
--section=SECTION
导入已列举的区段(如pre-data、data、或post-data)。
--use-set-session-authorization
该选项用来进行文本格式的备份。
输出SET SESSION AUTHORIZATION命令,而非ALTER OWNER命令,用以决定对象归属。该选项使转储更加兼容标准,但通过参考转储中对象的记录,导入过程可能会有问题。使用SET SESSION AUTHORIZATION的转储要求必须是系统管理员,同时在导入前还需参考”SET SESSION AUTHORIZATION”,手工对导出文件的密码进行修改验证,只有这样才能进行正确的导入操作,相比之下,ALTER OWNER对权限要求较低。
须知:
如果安装过程中有任何本地数据要添加到template1数据库,请谨慎将gs_restore的输出载入到一个真正的空数据库中;否则可能会因为被添加对象的定义被复制,而出现错误。要创建一个无本地添加的空数据库,需从template0而非template1复制,例如:
CREATE DATABASE foo WITH TEMPLATE template0;
gs_restore不能选择性地导入大对象;例如只能导入那些指定表的对象。如果某个归档形式包含大对象,那所有大对象都会被导入,或一个都不会被导入,如果它们通过-L、-t或其他选项被排除。
说明:
-d/—dbname 和 -f/—file 不能同时使用。
-s/—schema-only 和 -a/—data-only不能同时使用。
-c/—clean 和 -a/—data-only不能同时使用。
使用—single-transaction时,-j/—jobs必须为单任务。
--role 和 —rolepassword必须一起使用。
连接参数:
-h, —host=HOSTNAME
指定的主机名称。如果取值是以斜线开头,他将用作Unix域套接字的目录。默认值取自PGHOST环境变量;如果没有设置,将启动某个Unix域套接字建立连接。
该参数只针对openGauss外,对openGauss内本机只能用127.0.0.1。
-p, —port=PORT
指定服务器所侦听的TCP端口或本地Unix域套接字后缀,以确保连接。默认值设置为PGPORT环境变量。
在开启线程池情况下,建议使用 pooler port,即侦听端口+1。
-U, —username=NAME
所连接的用户名。
-w, —no-password
不出现输入密码提示。如果服务器要求密码认证并且密码没有通过其它形式给出,则连接尝试将会失败。 该选项在批量工作和不存在用户输入密码的脚本中很有帮助。
-W, —password=PASSWORD
指定用户连接的密码。如果主机的认证策略是trust,则不会对系统管理员进行密码验证,即无需输入-W参数;如果没有-W参数,并且不是系统管理员,“gs_restore”会提示用户输入密码。
--role=ROLENAME
指定导入操作使用的角色名。选择该参数,会使gs_restore连接数据库后,发起一个SET ROLE角色名命令。当所授权用户(由-U指定)没有gs_restore要求的权限时,该参数会起到作用,即切换到具备相应权限的角色。某些安装操作规定不允许直接以初始用户身份登录,而使用该参数能够在不违反该规定的情况下完成导入。
--rolepassword=ROLEPASSWORD
指定具体角色用户的角色密码。
示例
特例:执行gsql程序,使用如下选项导入由gs_dump/gs_dumpall生成导出文件夹(纯文本格式)的MPPDB_backup.sql文件到postgres数据库。
gsql -d postgres -p 15400 -W Bigdata@123 -f /home/omm/test/MPPDB_backup.sql
SET
SET
SET
SET
SET
ALTER TABLE
ALTER TABLE
ALTER TABLE
ALTER TABLE
ALTER TABLE
CREATE INDEX
CREATE INDEX
CREATE INDEX
SET
CREATE INDEX
REVOKE
REVOKE
GRANT
GRANT
total time: 30476 ms
gs_restore用来导入由gs_dump生成的导出文件。
示例1:执行gs_restore,将导出的MPPDB_backup.dmp文件(自定义归档格式)导入到postgres数据库。
gs_restore -W Bigdata@123 backup/MPPDB_backup.dmp -p 15400 -d postgres
gs_restore: restore operation successful
gs_restore: total time: 13053 ms
示例2:执行gs_restore,将导出的MPPDB_backup.tar文件(tar格式)导入到postgres数据库。
gs_restore backup/MPPDB_backup.tar -p 15400 -d postgres
gs_restore[2017-07-21 19:16:26]: restore operation successful
gs_restore[2017-07-21 19:16:26]: total time: 21203 ms
示例3:执行gs_restore,将导出的MPPDB_backup文件(目录格式)导入到postgres数据库。
gs_restore backup/MPPDB_backup -p 15400 -d postgres
gs_restore[2017-07-21 19:16:26]: restore operation successful
gs_restore[2017-07-21 19:16:26]: total time: 21003 ms
示例4:执行gs_restore,使用自定义归档格式的MPPDB_backup.dmp文件来进行如下导入操作。 导入PUBLIC模式下所有对象的定义和数据。在导入时会先删除已经存在的对象,如果原对象存在跨模式的依赖则需手工强制干预。
gs_restore backup/MPPDB_backup.dmp -p 15400 -d postgres -e -c -n PUBLIC
gs_restore: [archiver (db)] Error while PROCESSING TOC:
gs_restore: [archiver (db)] Error from TOC entry 313; 1259 337399 TABLE table1 gaussdba
gs_restore: [archiver (db)] could not execute query: ERROR: cannot drop table table1 because other objects depend on it
DETAIL: view t1.v1 depends on table table1
HINT: Use DROP ... CASCADE to drop the dependent objects too.
Command was: DROP TABLE public.table1;
手工删除依赖,导入完成后再重新创建。
gs_restore backup/MPPDB_backup.dmp -p 15400 -d postgres -e -c -n PUBLIC
gs_restore[2017-07-21 19:16:26]: restore operation successful
gs_restore[2017-07-21 19:16:26]: total time: 2203 ms
示例5:执行gs_restore,使用自定义归档格式的MPPDB_backup.dmp文件来进行如下导入操作。只导入PUBLIC模式下表table1的定义。
gs_restore backup/MPPDB_backup.dmp -p 15400 -d postgres -e -c -s -n PUBLIC -t table1
gs_restore[2017-07-21 19:16:26]: restore operation successful
gs_restore[2017-07-21 19:16:26]: total time: 21000 ms
示例6:执行gs_restore,使用自定义归档格式的MPPDB_backup.dmp文件来进行如下导入操作。只导入PUBLIC模式下表table1的数据。
gs_restore backup/MPPDB_backup.dmp -p 15400 -d postgres -e -a -n PUBLIC -t table1
gs_restore[2017-07-21 19:16:26]: restore operation successful
gs_restore[2017-07-21 19:16:26]: total time: 20203 ms
相关命令
gs_backup
背景信息
openGauss部署成功后,在数据库运行的过程中,会遇到各种问题及异常状态。openGauss提供了gs_backup工具帮助openGauss备份、恢复重要数据、显示帮助信息和版本号信息。
前提条件
- 可以正常连接openGauss数据库。
- 在进行还原时,需要保证各节点备份目录中存在备份文件,若备份文件丢失,则需要从其他节点进行拷贝(二进制文件需修改文件名中的节点名)。
- 需以操作系统用户omm执行gs_backup命令。
语法
备份数据库主机
gs_backup -t backup --backup-dir=BACKUPDIR [-h HOSTNAME] [--parameter] [--binary] [--all] [-l LOGFILE]
恢复数据库主机
gs_backup -t restore --backup-dir=BACKUPDIR [-h HOSTNAME] [--parameter] [--binary] [--all] [-l LOGFILE]
显示帮助信息
gs_backup -? | --help
显示版本号信息
gs_backup -V | --version
参数说明
gs_backup参数可以分为如下几类:
备份数据库主机参数:
-h
指定存储备份文件的主机名称。
取值范围:主机名称。如果不指定主机名称,则分发到openGauss。
--backup-dir=BACKUPDIR
备份文件保存路径。
--parameter
备份参数文件,不指定—parameter、—binary、—all参数时默认只备份参数文件。
--binary
备份二进制文件。
--all
备份二进制和参数文件。
-l
指定日志文件及存放路径。
默认值:$GAUSSLOG/om/gs_backup-YYYY-MM-DD_hhmmss.log
恢复数据库主机参数:
-h
指定需要恢复主机的名称。
取值范围:主机名称。如果不指定主机,则恢复openGauss。
--backup-dir=BACKUPDIR
恢复文件提取路径。
--parameter
恢复参数文件,不指定—parameter、—binary、—all参数时默认只恢复参数文件。
--binary
恢复二进制文件。
--all
恢复二进制和参数文件。
-l
指定日志文件及存放路径。
默认值:$GAUSSLOG/om/gs_backup-YYYY-MM-DD_hhmmss.log
其他参数:
-?, —help
显示帮助信息。
-V, —version
显示版本号信息。
示例
使用gs_backup脚本备份数据库主机。
gs_backup -t backup --backup-dir=/opt/software/gaussdb/backup_dir -h plat1 --parameter
Backing up openGauss.
Parsing configuration files.
Successfully parsed the configuration file.
Performing remote backup.
Remote backup succeeded.
Successfully backed up openGauss.
使用gs_backup脚本恢复数据库主机。
gs_backup -t restore --backup-dir=/opt/software/gaussdb/backup_dir -h plat1 --parameter
Restoring openGauss.
Parsing the configuration file.
Successfully parsed configuration files.
Performing remote restoration.
Remote restoration succeeded.
Successfully restored openGauss.