331 lines
14 KiB
Markdown
331 lines
14 KiB
Markdown
---
|
||
title: Postgresql 备份方式
|
||
date: 2020-10-10
|
||
author: ac
|
||
tags:
|
||
- postgresql
|
||
categories:
|
||
- Database
|
||
---
|
||
|
||
## Postgresql 备份方式
|
||
|
||
### 1. 数据库备份的分类类型
|
||
|
||
按备份后的文件类型分为：
|
||
|
||
- 物理备份（文件系统级别的备份）
|
||
- 逻辑备份（sql文件或其它特定格式的导出文件）
|
||
|
||
按备份过程中是否停止数据库服务分：
|
||
|
||
- 热备份：备份过程中数据库服务开启并可供用户访问
|
||
- 冷备份：备份过程中停止数据库服务
|
||
|
||
按备份是否完整分：
|
||
|
||
- 全量备份：备份整个数据库数据
|
||
- 增量备份：备份上一次全量备份后数据库改变的内容
|
||
|
||
### 2. [SQL Dump](https://www.postgresql.org/docs/9.5/backup-dump.html)(SQL转储)
|
||
|
||
SQL命令：`pg_dump` [`connection-option`...] [`option`...] [`dbname`]
|
||
|
||
该方法是使用SQL命令生成一个文件，当该文件被反馈到服务器时，它将以与转储时相同的状态重新创建数据库。
|
||
|
||
pg_dump是用于备份PostgreSQL数据库的实用程序 。优点：
|
||
|
||
- 即使同时使用数据库，它也会进行一致的备份。 pg_dump不会阻止其他用户访问数据库（读取器或写入器）。
|
||
|
||
- pg_dump并不影响数据库工作过程中的其他操作（主要是关心pg_dump会不会产生读写锁（read lock、write lock）），但也有例外，那就是哪些需要使用互斥锁（exclusive lock）的操作，如ALTER TABLE。
|
||
|
||
> pg_dump只转储一个数据库。要备份集群中所有数据库通用的全局对象（例如角色和表空间），请使用 pg_dumpall。
|
||
|
||
转储可以是脚本或存档文件格式输出。脚本转储是纯文本文件，其中包含将数据库重建到保存时所处状态所需的SQL命令。
|
||
|
||
pg_dump 把一个数据库转储为纯文本文件或者是其它格式，示例：
|
||
|
||
`pg_dump --dbname=postgresql://postgres:ohdsi@127.0.0.1:5432/OHDSI -t webapi.* > webapi.sql`
|
||
|
||
这将创建一个sql脚本，但它并不是真正的sql脚本，pg_dump生成的sql代码示例：
|
||
|
||
```shell
|
||
COPY webapi.cohort_version (asset_id, comment, description, version, asset_json, archived, created_by_id, created_date) FROM stdin;
|
||
\.
|
||
--
|
||
-- Data for Name: concept_of_interest; Type: TABLE DATA; Schema: webapi; Owner: ohdsi_admin_user
|
||
--
|
||
|
||
COPY webapi.concept_of_interest (id, concept_id, concept_of_interest_id) FROM stdin;
|
||
1 4329847 4185932
|
||
2 4329847 77670
|
||
3 192671 4247120
|
||
4 192671 201340
|
||
```
|
||
|
||
当该脚本作为sql脚本运行时，它会失败，并显示以下错误。
|
||
|
||
- 用IDEA连接去执行sql文件时，会报错，
|
||
|
||
```shell
|
||
[57014] ERROR: COPY from stdin failed: COPY commands are only supported using the CopyManager API.
|
||
[11:21:06] 在位置：COPY webapi.concept_of_interest, line 1
|
||
```
|
||
|
||
- 用pgAdmin 还原时，会报错：
|
||
|
||
```shell
|
||
pg_restore.exe --host "192.168.1.1" --port "5432" --username "postgres" --no-password --dbname "webapi" --verbose "D:\\backup\\webapi.sql"
|
||
pg_restore: 错误: 输入文件看起来像是文本格式的dump. 请使用psql.
|
||
```
|
||
|
||
当出现这种情况的时候，是因为用于还原转储的客户端工具无法处理来自（非标准）`COPY`命令的数据，这些数据被混合到脚本中。您需要`psql`才能恢复这样的转储。按照错误提示，使用`psql`：
|
||
|
||
|
||
|
||
输入完口令，就可以执行了。
|
||
|
||
`pg_dump `的其他参数如下：
|
||
|
||
```shell
|
||
D:\Program Files\PostgreSQL\13\bin>pg_dump --help
|
||
pg_dump 把一个数据库转储为纯文本文件或者是其它格式.
|
||
|
||
使用方法:
|
||
pg_dump [选项]... [数据库名字]
|
||
|
||
一般选项:
|
||
-f, --file=FILENAME 输出文件或目录名
|
||
-F, --format=c|d|t|p 输出文件格式 (定制, 目录, tar
|
||
明文 (默认值))
|
||
-j, --jobs=NUM 执行多个并行任务进行备份转储工作
|
||
-v, --verbose 详细模式
|
||
-V, --version 输出版本信息, 然后退出
|
||
-Z, --compress=0-9 被压缩格式的压缩级别
|
||
--lock-wait-timeout=TIMEOUT 在等待表锁超时后操作失败
|
||
--no-sync 不用等待变化安全写入磁盘
|
||
-?, --help 显示此帮助, 然后退出
|
||
|
||
控制输出内容选项:
|
||
-a, --data-only 只转储数据,不包括模式
|
||
-b, --blobs 在转储中包括大对象
|
||
-B, --no-blobs 排除转储中的大型对象
|
||
-c, --clean 在重新创建之前，先清除（删除）数据库对象
|
||
-C, --create 在转储中包括命令,以便创建数据库
|
||
-e, --extension=PATTERN 仅转储指定的扩展名
|
||
-E, --encoding=ENCODING 转储以ENCODING形式编码的数据
|
||
-n, --schema=PATTERN 只转储指定的模式
|
||
-N, --exclude-schema=PATTERN 不转储指定的模式
|
||
-O, --no-owner 在明文格式中, 忽略恢复对象所属者
|
||
-s, --schema-only 只转储模式, 不包括数据
|
||
-S, --superuser=NAME 在明文格式中使用指定的超级用户名
|
||
-t, --table=PATTERN 只转储指定的表
|
||
-T, --exclude-table=PATTERN 不转储指定的表
|
||
-x, --no-privileges 不要转储权限 (grant/revoke)
|
||
--binary-upgrade 只能由升级工具使用
|
||
--column-inserts 以带有列名的INSERT命令形式转储数据
|
||
--disable-dollar-quoting 取消美元 (符号) 引号, 使用 SQL 标准引号
|
||
--disable-triggers 在只恢复数据的过程中禁用触发器
|
||
--enable-row-security 启用行安全性（只转储用户能够访问的内容）
|
||
--exclude-table-data=PATTERN 不转储指定的表中的数据
|
||
--extra-float-digits=NUM 覆盖extra_float_digits的默认设置
|
||
--if-exists 当删除对象时使用IF EXISTS
|
||
--include-foreign-data=PATTERN
|
||
包含外部服务器上与模式匹配的
|
||
外部表的数据
|
||
--inserts 以INSERT命令，而不是COPY命令的形式转储数据
|
||
--load-via-partition-root 通过根表加载分区
|
||
--no-comments 不转储注释
|
||
--no-publications 不转储发布
|
||
--no-security-labels 不转储安全标签的分配
|
||
--no-subscriptions 不转储订阅
|
||
--no-table-access-method do not dump table access methods
|
||
--no-tablespaces 不转储表空间分配信息
|
||
--no-toast-compression 不转储TOAST压缩方法
|
||
--no-unlogged-table-data 不转储没有日志的表数据
|
||
--on-conflict-do-nothing 将ON CONFLICT DO NOTHING添加到INSERT命令
|
||
--quote-all-identifiers 所有标识符加引号，即使不是关键字
|
||
--rows-per-insert=NROWS 每个插入的行数；意味着--inserts
|
||
--section=SECTION 备份命名的节 (数据前, 数据, 及 数据后)
|
||
--serializable-deferrable 等到备份可以无异常运行
|
||
--snapshot=SNAPSHOT 为转储使用给定的快照
|
||
--strict-names 要求每个表和(或)schema包括模式以匹配至少一个实体
|
||
--use-set-session-authorization
|
||
使用 SESSION AUTHORIZATION 命令代替
|
||
ALTER OWNER 命令来设置所有权
|
||
|
||
联接选项:
|
||
-d, --dbname=DBNAME 对数据库 DBNAME备份
|
||
-h, --host=主机名 数据库服务器的主机名或套接字目录
|
||
-p, --port=端口号 数据库服务器的端口号
|
||
-U, --username=名字 以指定的数据库用户联接
|
||
-w, --no-password 永远不提示输入口令
|
||
-W, --password 强制口令提示 (自动)
|
||
--role=ROLENAME 在转储前运行SET ROLE
|
||
|
||
如果没有提供数据库名字, 那么使用 PGDATABASE 环境变量的数值.
|
||
```
|
||
|
||
根据上面的命令参数，可以看到，`--inserts`这个参数可以替换掉`copy`命令，所以有另一种解决方案：
|
||
|
||
```shell
|
||
pg_dump --inserts --dbname=postgresql://postgres:ohdsi@127.0.0.1:5432/OHDSI -t webapi.* > webapi.sql
|
||
```
|
||
|
||
实例：
|
||
|
||
```shell
|
||
pg_dump -h 127.0.0.1 -p 5432 -U magicsat -f ./test/coastline.sql coastline
|
||
```
|
||
|
||
```sql
|
||
pg_dump -U magicsat -d coastline -h 127.0.0.1 >./test/coastline222.sql
|
||
```
|
||
|
||
```sql
|
||
pg_dump.exe -d "rural_house_330000" -h "192.168.4.199" -p "5432" -U "postgres" --no-password --inserts -W "ag123456" --table "risk_census_house_330100_jffx" -f D:\augurit\backup\jffx.sql
|
||
|
||
pg_dump. --inserts --dbname=postgresql://postgres:rural_house_330000@192.168.4.199:5432/rural_house_330000 -t "risk_census_house_330100_jffx" >D:\augurit\backup\jffx.sql
|
||
```
|
||
|
||
**可能遇到的问题：**
|
||
|
||
`pg_dump`命令需要输入密码才能执行。若想无需密码导数据有以下两种解决方法：
|
||
|
||
方法一：设置pg环境变量
|
||
|
||
```she
|
||
export PGPASSWORD=''
|
||
```
|
||
|
||
方法二：在pg_hba.conf中添加用户访问认证trust
|
||
|
||
```shell
|
||
# TYPE DATABASE USER ADDRESS METHOD
|
||
# IPv4 local connections:
|
||
host all all 127.0.0.1/32 md5
|
||
```
|
||
|
||
- TYPE（连接方式）：'local'（unix-domain的socket连接）、`host` (TCP/IP socket)、`hostssl`(SSL加密的TCP/IP socket)
|
||
|
||
- DATABASE（数据库名称）：'all' ,'sameuser','samerole','replication',`数据库名称` ,或者多个数据库名称用 `逗号`，注意ALL不匹配 replication
|
||
|
||
- USER（用户名称）：`all`,`一个用户名`，`一组用户名` ，多个用户时，可以用 `,`逗号隔开
|
||
|
||
- ADDRESS：该参数可以为 `主机名称` 或者`IP/32(IPV4) `或 `IP/128(IPV6)`，主机名称以 `.`开头，`samehost`或`samenet` 匹配任意Ip地址
|
||
|
||
- METHOD：该值可以为"trust", "reject", "md5", "password", "scram-sha-256","gss", "sspi", "ident", "peer", "pam", "ldap", "radius" or "cert"
|
||
|
||
> trust:无条件地允许联接。建议测试用
|
||
>
|
||
> reject:联接无条件拒绝。从一个组中"过滤"某些主机。
|
||
>
|
||
> md5:密码认证方式。密码是以md5形式传送给数据库
|
||
>
|
||
> password：要求客户端提供一个未加密的口令进行认证。
|
||
>
|
||
> ident：是Linux下PostgreSQL默认的local认证方式，
|
||
|
||
例子表示允许 ip为127.0.0.1的所有用户通过md5加密的密码方式连接主机上的所有数据库
|
||
|
||
```shell
|
||
0,8,16,24,32 即表示掩码bit的个数：
|
||
|
||
32 -> 192.168.1.1/32 表示必须是来自这个IP地址的访问才合法；
|
||
24 -> 192.168.1.0/24 表示只要来自192.168.1.0 ~ 192.168.1.255的都合法；
|
||
16 -> 192.168.0.0/16 表示只要来自192.168.0.0 ~ 192.168.255.255的都合法；
|
||
8 -> 192.0.0.0/8 表示只要来自192.0.0.0 ~ 192.255.255.255的都合法；
|
||
```
|
||
|
||
### 3.还原（pg_restore）
|
||
|
||
pg_restore — 从pg_dump创建的档案文件中恢复PostgreSQL数据库，是一种实用程序，用于以非明文格式之一的[pg_dump](https://www.postgresql.org/docs/12/app-pgdump.html)创建的存档文件中恢复PostgreSQL数据库
|
||
|
||
语法：
|
||
|
||
```sql
|
||
pg_restore[ connection-option...] [ option...] [ filename]
|
||
```
|
||
|
||
一般选项:
|
||
|
||
```javascript
|
||
-d, --dbname=名字 连接数据库名字
|
||
-f, --file=文件名 输出文件名
|
||
-F, --format=c|d|t 备份文件格式(应该自动进行)
|
||
-l, --list 打印归档文件的 TOC 概述
|
||
-v, --verbose 详细模式
|
||
-V, --version 输出版本信息, 然后退出
|
||
-?, --help 显示此帮助, 然后退出
|
||
```
|
||
|
||
恢复控制选项:
|
||
|
||
```javascript
|
||
-a, --data-only 只恢复数据, 不包括模式
|
||
-c, --clean 在重新创建之前，先清除（删除）数据库对象
|
||
-C, --create 创建目标数据库
|
||
-e, --exit-on-error 发生错误退出, 默认为继续
|
||
-I, --index=NAME 恢复指定名称的索引
|
||
-j, --jobs=NUM 执行多个并行任务进行恢复工作
|
||
-L, --use-list=FILENAME 从这个文件中使用指定的内容表排序输出
|
||
-n, --schema=NAME 在这个模式中只恢复对象
|
||
-O, --no-owner 不恢复对象所属者
|
||
-P, --function=NAME(args) 恢复指定名字的函数
|
||
-s, --schema-only 只恢复模式, 不包括数据
|
||
-S, --superuser=NAME 使用指定的超级用户来禁用触发器
|
||
-t, --table=NAME 恢复命名表
|
||
-T, --trigger=NAME 恢复指定名字的触发器
|
||
-x, --no-privileges 跳过处理权限的恢复 (grant/revoke)
|
||
-1, --single-transaction 作为单个事务恢复
|
||
--disable-triggers 在只恢复数据的过程中禁用触发器
|
||
--enable-row-security 启用行安全性
|
||
--if-exists 当删除对象时使用IF EXISTS
|
||
--no-data-for-failed-tables 对那些无法创建的表不进行数据恢复
|
||
--no-security-labels 不恢复安全标签信息
|
||
--no-tablespaces 不恢复表空间的分配信息
|
||
--section=SECTION 恢复命名节 (数据前、数据及数据后)
|
||
--use-set-session-authorization 使用 SESSION AUTHORIZATION 命令代替ALTER OWNER 命令来设置所有权
|
||
```
|
||
|
||
联接选项:
|
||
|
||
```javascript
|
||
-h, --host=主机名 数据库服务器的主机名或套接字目录
|
||
-p, --port=端口号 数据库服务器的端口号
|
||
-U, --username=名字 以指定的数据库用户联接
|
||
-w, --no-password 永远不提示输入口令
|
||
-W, --password 强制口令提示 (自动)
|
||
--role=ROLENAME 在恢复前执行SET ROLE操作
|
||
```
|
||
|
||
选项 -I, -n, -P, -t, -T, 以及 --section 可以组合使用和指定
|
||
多次用于选择多个对象.
|
||
|
||
实例：
|
||
|
||
```shell
|
||
#切换到D:\Program Files\PostgreSQL\13\bin\
|
||
pg_restore --host "192.168.1.1" --port "5432" --username "postgres" --no-password --dbname "webapi" --verbose "D:\\backup\\webapi.sql"
|
||
```
|
||
|
||
> 注意：纯文本格式的脚本，pg_restore 是无法恢复的
|
||
|
||
### 4. docker环境
|
||
|
||
思路：
|
||
|
||
- 创建容器时，将data目录挂载出来；
|
||
- 进入容器，`pg_dump` 命令进行备份，导出到挂载的目录下面，这样在宿主机上就可以直接获取sql文件了；
|
||
- 备份也是通过挂载的目录进行，将SQL文件拷贝到挂载的目录下面，进入容器内部执行`pg_restore`命令。
|
||
|
||
如果pg的数据目录没有挂载出来，可以用`docker cp [source] [target]`命令将备份文件拷贝出来或获取备份文件。
|
||
|
||
### 参考文章
|
||
|
||
[1] https://www.jianshu.com/p/74063898e9ff
|
||
|
||
[2] https://blog.csdn.net/u011365831/article/details/79497596
|
||
|
||
[3] https://www.5axxw.com/questions/content/u5jus5
|