postgres流复制环境下pg_xlog日志优雅的清理

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了postgres流复制环境下pg_xlog日志优雅的清理相关的知识,希望对你有一定的参考价值。

参考技术A pg_xlog 的重要性不言而喻,不可以随意直接rm,官方文档中也有明确说明。
当随着时间的推移,xlog目录会越来越大,网上有些方法是先停机然后再删除,但我不想停机删除,那么如何优雅清理xlog日志呢?

方法:
1.登录到postgres中查看当前的wal_keep_segments

2.在 postgres.conf中修改 降低wal_keep_segments的值,本案例中降低到512

3.重载 postgres配置文件

5.想要立刻见效,可以手动执行checkpoint

pg归档的删除方法

删除0000001D0000000000000054 之前的归档

PostgreSQL流复制

原理机制

参考--https://yq.aliyun.com/articles/51009

主备总体结构

PG主备流复制的核心部分由walsender,walreceiver和startup三个进程组成。

  • walsender进程是用来发送WAL日志记录的
  • walreceiver进程是用来接收WAL日志记录的
  • startup进程是用来apply日志的

配置环境

主机名    IP地址    角色    数据目录
postgres202    192.168.1.202    primary    /home/postgres/data
postgres203    192.168.1.203    standby    /home/postgres/data

同步类型

  1. 异步方式
  2. 同步方式

【异步方式配置】

主数据库配置
1. 主机192.168.1.202
1.1 首先需要配置一个账号进行主从同步。
创建replica用户设置密码,登录和备份权限。
CREATE ROLE replica login replication encrypted password replica

1.2 修改pg_hba.conf,增加replica用户,进行同步。
host    replication     replica     192.168.1.0/24              md5
这样,就设置了replica这个用户可以从192.168.1.0对应的网段进行流复制请求。

1.3 修改postgresql.conf,注意设置下下面几个地方:
wal_level = hot_standby   # 这个是设置主为wal的主机
max_wal_senders = 5       # 这个设置了可以最多有几个流复制连接,差不多有几个从,就设置几个
wal_keep_segments = 128   # 设置流复制保留的最多的xlog数目
wal_sender_timeout = 60s  # 设置流复制主机发送数据的超时时间
max_connections = 100     # 这个设置要注意下,从库的max_connections必须要大于主库的

1.4 重启主库

2. 备数据库配置
主机192.168.1.203
2.1 使用pg_basebackup建备库
pg_basebackup -F p --progress -D /home/postgres/data -h 192.168.1.202 -p 5432 -U replica --password
这里使用了pg_basebackup这个命令,/home/postgres/data这个目录是空的
成功之后,就可以看到这个目录中现有的文件都是一样的了。

2.2 进入到/home/postgres/data目录,修改recovery.conf,只要修改几个地方就行了
standby_mode = on  # 这个说明这台机器为从库
primary_conninfo = host=192.168.1.202 port=5432 user=replica password=replica  # 这个说明这台机器对应主库的信息
recovery_target_timeline = latest # 这个说明这个流复制同步到最新的数据

2.3 postgresql.conf中也有几个地方要进行修改
max_connections = 200              # 一般查多于写的应用从库的最大连接数要比较大
hot_standby = on                   # 说明这台机器不仅仅是用于数据归档,也用于数据查询
max_standby_streaming_delay = 30s  # 数据流备份的最大延迟时间
wal_receiver_status_interval = 10s # 多久向主报告一次从的状态,当然从每次数据复制都会向主报告状态,这里只是设置最长的间隔时间
hot_standby_feedback = on          # 如果有错误的数据复制,是否向主进行反馈

2.4 启动备

【主库】查看配置结果
postgres=# select * from pg_stat_replication ;
-[ RECORD 1 ]----+------------------------------
pid              | 1793
usesysid         | 24576
usename          | replica
application_name | walreceiver
client_addr      | 192.168.1.203
client_hostname  | 
client_port      | 32250
backend_start    | 2017-09-01 22:23:16.924496+08
backend_xmin     | 1676
state            | streaming
sent_location    | 0/60003E0
write_location   | 0/60003E0
flush_location   | 0/60003E0
replay_location  | 0/60003E0
sync_priority    | 0
sync_state       | async

【异步更改为同步方式】

1. 主数据库配置
主机192.168.1.202
1.1 修改postgresql.conf
synchronous_standby_names = standby01

2. 备数据库配置
主机192.168.1.203
2.2 vi recovery.conf 
standby_mode = on
primary_conninfo = application_name=standby01 host=192.168.1.202 port=5432 user=replica password=replica
recovery_target_timeline = latest

3.重启动主备库

【主库】查看
postgres=# select * from pg_stat_replication ;
-[ RECORD 1 ]----+----------------------------
pid              | 1706
usesysid         | 24576
usename          | replica
application_name | standby01
client_addr      | 192.168.1.203
client_hostname  | 
client_port      | 59550
backend_start    | 2017-09-01 23:36:05.7176+08
backend_xmin     | 1676
state            | streaming
sent_location    | 0/70000D0
write_location   | 0/70000D0
flush_location   | 0/70000D0
replay_location  | 0/70000D0
sync_priority    | 1
sync_state       | sync

 

以上是关于postgres流复制环境下pg_xlog日志优雅的清理的主要内容,如果未能解决你的问题,请参考以下文章

PostgreSQL流复制

Postgres 流复制错误:请求的 WAL 段已被删除

postgres 9.6.5 重建控制文件

PostgreSQL pg_xlog文件夹的文件

postgreSQL主从复制

PostgreSQL 安装完成后的一些配置