--- title: Postgresql 备份方式 date: 2020-10-10 author: ac tags: - postgresql categories: - Database --- ## Postgresql 备份方式 ### 1. 数据库备份的分类类型 按备份后的文件类型分为： - 物理备份（文件系统级别的备份） - 逻辑备份（sql文件或其它特定格式的导出文件） 按备份过程中是否停止数据库服务分： - 热备份：备份过程中数据库服务开启并可供用户访问 - 冷备份：备份过程中停止数据库服务 按备份是否完整分： - 全量备份：备份整个数据库数据 - 增量备份：备份上一次全量备份后数据库改变的内容 ### 2. [SQL Dump](https://www.postgresql.org/docs/9.5/backup-dump.html)(SQL转储) SQL命令：`pg_dump` [`connection-option`...] [`option`...] [`dbname`] 该方法是使用SQL命令生成一个文件，当该文件被反馈到服务器时，它将以与转储时相同的状态重新创建数据库。 pg_dump是用于备份PostgreSQL数据库的实用程序 。优点： - 即使同时使用数据库，它也会进行一致的备份。 pg_dump不会阻止其他用户访问数据库（读取器或写入器）。 - pg_dump并不影响数据库工作过程中的其他操作（主要是关心pg_dump会不会产生读写锁（read lock、write lock）），但也有例外，那就是哪些需要使用互斥锁（exclusive lock）的操作，如ALTER TABLE。 > pg_dump只转储一个数据库。要备份集群中所有数据库通用的全局对象（例如角色和表空间），请使用 pg_dumpall。 转储可以是脚本或存档文件格式输出。脚本转储是纯文本文件，其中包含将数据库重建到保存时所处状态所需的SQL命令。 pg_dump 把一个数据库转储为纯文本文件或者是其它格式，示例： `pg_dump --dbname=postgresql://postgres:ohdsi@127.0.0.1:5432/OHDSI -t webapi.* > webapi.sql` 这将创建一个sql脚本，但它并不是真正的sql脚本，pg_dump生成的sql代码示例： ```shell COPY webapi.cohort_version (asset_id, comment, description, version, asset_json, archived, created_by_id, created_date) FROM stdin; \. -- -- Data for Name: concept_of_interest; Type: TABLE DATA; Schema: webapi; Owner: ohdsi_admin_user -- COPY webapi.concept_of_interest (id, concept_id, concept_of_interest_id) FROM stdin; 1 4329847 4185932 2 4329847 77670 3 192671 4247120 4 192671 201340 ``` 当该脚本作为sql脚本运行时，它会失败，并显示以下错误。 - 用IDEA连接去执行sql文件时，会报错， ```shell [57014] ERROR: COPY from stdin failed: COPY commands are only supported using the CopyManager API. [11:21:06] 在位置：COPY webapi.concept_of_interest, line 1 ``` - 用pgAdmin 还原时，会报错： ```shell pg_restore.exe --host "192.168.1.1" --port "5432" --username "postgres" --no-password --dbname "webapi" --verbose "D:\\backup\\webapi.sql" pg_restore: 错误: 输入文件看起来像是文本格式的dump. 请使用psql. ``` 当出现这种情况的时候，是因为用于还原转储的客户端工具无法处理来自（非标准）`COPY`命令的数据，这些数据被混合到脚本中。您需要`psql`才能恢复这样的转储。按照错误提示，使用`psql`： ![image-20230626113256068](./images/image-20230626113256068.png) 输入完口令，就可以执行了。 `pg_dump `的其他参数如下： ```shell D:\Program Files\PostgreSQL\13\bin>pg_dump --help pg_dump 把一个数据库转储为纯文本文件或者是其它格式. 使用方法: pg_dump [选项]... [数据库名字] 一般选项: -f, --file=FILENAME 输出文件或目录名 -F, --format=c|d|t|p 输出文件格式 (定制, 目录, tar 明文 (默认值)) -j, --jobs=NUM 执行多个并行任务进行备份转储工作 -v, --verbose 详细模式 -V, --version 输出版本信息, 然后退出 -Z, --compress=0-9 被压缩格式的压缩级别 --lock-wait-timeout=TIMEOUT 在等待表锁超时后操作失败 --no-sync 不用等待变化安全写入磁盘 -?, --help 显示此帮助, 然后退出 控制输出内容选项: -a, --data-only 只转储数据,不包括模式 -b, --blobs 在转储中包括大对象 -B, --no-blobs 排除转储中的大型对象 -c, --clean 在重新创建之前，先清除（删除）数据库对象 -C, --create 在转储中包括命令,以便创建数据库 -e, --extension=PATTERN 仅转储指定的扩展名 -E, --encoding=ENCODING 转储以ENCODING形式编码的数据 -n, --schema=PATTERN 只转储指定的模式 -N, --exclude-schema=PATTERN 不转储指定的模式 -O, --no-owner 在明文格式中, 忽略恢复对象所属者 -s, --schema-only 只转储模式, 不包括数据 -S, --superuser=NAME 在明文格式中使用指定的超级用户名 -t, --table=PATTERN 只转储指定的表 -T, --exclude-table=PATTERN 不转储指定的表 -x, --no-privileges 不要转储权限 (grant/revoke) --binary-upgrade 只能由升级工具使用 --column-inserts 以带有列名的INSERT命令形式转储数据 --disable-dollar-quoting 取消美元 (符号) 引号, 使用 SQL 标准引号 --disable-triggers 在只恢复数据的过程中禁用触发器 --enable-row-security 启用行安全性（只转储用户能够访问的内容） --exclude-table-data=PATTERN 不转储指定的表中的数据 --extra-float-digits=NUM 覆盖extra_float_digits的默认设置 --if-exists 当删除对象时使用IF EXISTS --include-foreign-data=PATTERN 包含外部服务器上与模式匹配的 外部表的数据 --inserts 以INSERT命令，而不是COPY命令的形式转储数据 --load-via-partition-root 通过根表加载分区 --no-comments 不转储注释 --no-publications 不转储发布 --no-security-labels 不转储安全标签的分配 --no-subscriptions 不转储订阅 --no-table-access-method do not dump table access methods --no-tablespaces 不转储表空间分配信息 --no-toast-compression 不转储TOAST压缩方法 --no-unlogged-table-data 不转储没有日志的表数据 --on-conflict-do-nothing 将ON CONFLICT DO NOTHING添加到INSERT命令 --quote-all-identifiers 所有标识符加引号，即使不是关键字 --rows-per-insert=NROWS 每个插入的行数；意味着--inserts --section=SECTION 备份命名的节 (数据前, 数据, 及 数据后) --serializable-deferrable 等到备份可以无异常运行 --snapshot=SNAPSHOT 为转储使用给定的快照 --strict-names 要求每个表和(或)schema包括模式以匹配至少一个实体 --use-set-session-authorization 使用 SESSION AUTHORIZATION 命令代替 ALTER OWNER 命令来设置所有权 联接选项: -d, --dbname=DBNAME 对数据库 DBNAME备份 -h, --host=主机名 数据库服务器的主机名或套接字目录 -p, --port=端口号 数据库服务器的端口号 -U, --username=名字 以指定的数据库用户联接 -w, --no-password 永远不提示输入口令 -W, --password 强制口令提示 (自动) --role=ROLENAME 在转储前运行SET ROLE 如果没有提供数据库名字, 那么使用 PGDATABASE 环境变量的数值. ``` 根据上面的命令参数，可以看到，`--inserts`这个参数可以替换掉`copy`命令，所以有另一种解决方案： ```shell pg_dump --inserts --dbname=postgresql://postgres:ohdsi@127.0.0.1:5432/OHDSI -t webapi.* > webapi.sql ``` 实例： ```shell pg_dump -h 127.0.0.1 -p 5432 -U magicsat -f ./test/coastline.sql coastline ``` ```sql pg_dump -U magicsat -d coastline -h 127.0.0.1 >./test/coastline222.sql ``` ```sql pg_dump.exe -d "rural_house_330000" -h "192.168.4.199" -p "5432" -U "postgres" --no-password --inserts -W "ag123456" --table "risk_census_house_330100_jffx" -f D:\augurit\backup\jffx.sql pg_dump. --inserts --dbname=postgresql://postgres:rural_house_330000@192.168.4.199:5432/rural_house_330000 -t "risk_census_house_330100_jffx" >D:\augurit\backup\jffx.sql ``` **可能遇到的问题：** `pg_dump`命令需要输入密码才能执行。若想无需密码导数据有以下两种解决方法： 方法一：设置pg环境变量 ```she export PGPASSWORD='' ``` 方法二：在pg_hba.conf中添加用户访问认证trust ```shell # TYPE DATABASE USER ADDRESS METHOD # IPv4 local connections: host all all 127.0.0.1/32 md5 ``` - TYPE（连接方式）：'local'（unix-domain的socket连接）、`host` (TCP/IP socket)、`hostssl`(SSL加密的TCP/IP socket) - DATABASE（数据库名称）：'all' ,'sameuser','samerole','replication',`数据库名称` ,或者多个数据库名称用 `逗号`，注意ALL不匹配 replication - USER（用户名称）：`all`,`一个用户名`，`一组用户名` ，多个用户时，可以用 `,`逗号隔开 - ADDRESS：该参数可以为 `主机名称` 或者`IP/32(IPV4) `或 `IP/128(IPV6)`，主机名称以 `.`开头，`samehost`或`samenet` 匹配任意Ip地址 - METHOD：该值可以为"trust", "reject", "md5", "password", "scram-sha-256","gss", "sspi", "ident", "peer", "pam", "ldap", "radius" or "cert" > trust:无条件地允许联接。建议测试用 > > reject:联接无条件拒绝。从一个组中"过滤"某些主机。 > > md5:密码认证方式。密码是以md5形式传送给数据库 > > password：要求客户端提供一个未加密的口令进行认证。 > > ident：是Linux下PostgreSQL默认的local认证方式， 例子表示允许 ip为127.0.0.1的所有用户通过md5加密的密码方式连接主机上的所有数据库 ```shell 0,8,16,24,32　即表示掩码bit的个数： 32 -> 192.168.1.1/32 表示必须是来自这个IP地址的访问才合法； 24 -> 192.168.1.0/24 表示只要来自192.168.1.0 ~ 192.168.1.255的都合法； 16 -> 192.168.0.0/16 表示只要来自192.168.0.0 ~ 192.168.255.255的都合法； 8 -> 192.0.0.0/8 表示只要来自192.0.0.0 ~ 192.255.255.255的都合法； ``` ### 3.还原（pg_restore） pg_restore — 从pg_dump创建的档案文件中恢复PostgreSQL数据库，是一种实用程序，用于以非明文格式之一的[pg_dump](https://www.postgresql.org/docs/12/app-pgdump.html)创建的存档文件中恢复PostgreSQL数据库 语法： ```sql pg_restore[ connection-option...] [ option...] [ filename] ``` 一般选项: ```javascript -d, --dbname=名字 连接数据库名字 -f, --file=文件名 输出文件名 -F, --format=c|d|t 备份文件格式(应该自动进行) -l, --list 打印归档文件的 TOC 概述 -v, --verbose 详细模式 -V, --version 输出版本信息, 然后退出 -?, --help 显示此帮助, 然后退出 ``` 恢复控制选项: ```javascript -a, --data-only 只恢复数据, 不包括模式 -c, --clean 在重新创建之前，先清除（删除）数据库对象 -C, --create 创建目标数据库 -e, --exit-on-error 发生错误退出, 默认为继续 -I, --index=NAME 恢复指定名称的索引 -j, --jobs=NUM 执行多个并行任务进行恢复工作 -L, --use-list=FILENAME 从这个文件中使用指定的内容表排序输出 -n, --schema=NAME 在这个模式中只恢复对象 -O, --no-owner 不恢复对象所属者 -P, --function=NAME(args) 恢复指定名字的函数 -s, --schema-only 只恢复模式, 不包括数据 -S, --superuser=NAME 使用指定的超级用户来禁用触发器 -t, --table=NAME 恢复命名表 -T, --trigger=NAME 恢复指定名字的触发器 -x, --no-privileges 跳过处理权限的恢复 (grant/revoke) -1, --single-transaction 作为单个事务恢复 --disable-triggers 在只恢复数据的过程中禁用触发器 --enable-row-security 启用行安全性 --if-exists 当删除对象时使用IF EXISTS --no-data-for-failed-tables 对那些无法创建的表不进行数据恢复 --no-security-labels 不恢复安全标签信息 --no-tablespaces 不恢复表空间的分配信息 --section=SECTION 恢复命名节 (数据前、数据及数据后) --use-set-session-authorization 使用 SESSION AUTHORIZATION 命令代替ALTER OWNER 命令来设置所有权 ``` 联接选项: ```javascript -h, --host=主机名 数据库服务器的主机名或套接字目录 -p, --port=端口号 数据库服务器的端口号 -U, --username=名字 以指定的数据库用户联接 -w, --no-password 永远不提示输入口令 -W, --password 强制口令提示 (自动) --role=ROLENAME 在恢复前执行SET ROLE操作 ``` 选项 -I, -n, -P, -t, -T, 以及 --section 可以组合使用和指定 多次用于选择多个对象. 实例： ```shell #切换到D:\Program Files\PostgreSQL\13\bin\ pg_restore --host "192.168.1.1" --port "5432" --username "postgres" --no-password --dbname "webapi" --verbose "D:\\backup\\webapi.sql" ``` > 注意：纯文本格式的脚本，pg_restore 是无法恢复的 ### 4. docker环境 思路： - 创建容器时，将data目录挂载出来； - 进入容器，`pg_dump` 命令进行备份，导出到挂载的目录下面，这样在宿主机上就可以直接获取sql文件了； - 备份也是通过挂载的目录进行，将SQL文件拷贝到挂载的目录下面，进入容器内部执行`pg_restore`命令。 如果pg的数据目录没有挂载出来，可以用`docker cp [source] [target]`命令将备份文件拷贝出来或获取备份文件。 ### 参考文章 [1] https://www.jianshu.com/p/74063898e9ff [2] https://blog.csdn.net/u011365831/article/details/79497596 [3] https://www.5axxw.com/questions/content/u5jus5