postgres流复制环境下pg_xlog日志优雅的清理

Posted 2023-05-07

参考技术A pg_xlog 的重要性不言而喻，不可以随意直接rm，官方文档中也有明确说明。
当随着时间的推移，xlog目录会越来越大，网上有些方法是先停机然后再删除，但我不想停机删除，那么如何优雅清理xlog日志呢？

方法：
1.登录到postgres中查看当前的wal_keep_segments

2.在 postgres.conf中修改 降低wal_keep_segments的值，本案例中降低到512

3.重载 postgres配置文件

5.想要立刻见效，可以手动执行checkpoint

pg归档的删除方法

删除0000001D0000000000000054 之前的归档

PostgreSQL流复制

原理机制

参考--https://yq.aliyun.com/articles/51009

主备总体结构

PG主备流复制的核心部分由walsender，walreceiver和startup三个进程组成。

• walsender进程是用来发送WAL日志记录的
• walreceiver进程是用来接收WAL日志记录的
• startup进程是用来apply日志的

配置环境

主机名    IP地址    角色    数据目录
postgres202    192.168.1.202    primary    /home/postgres/data
postgres203    192.168.1.203    standby    /home/postgres/data

同步类型

1. 异步方式
2. 同步方式

【异步方式配置】

主数据库配置
1. 主机192.168.1.202
1.1 首先需要配置一个账号进行主从同步。
创建replica用户设置密码，登录和备份权限。
CREATE ROLE replica login replication encrypted password ‘replica‘

1.2 修改pg_hba.conf，增加replica用户，进行同步。
host    replication     replica     192.168.1.0/24              md5
这样，就设置了replica这个用户可以从192.168.1.0对应的网段进行流复制请求。

1.3 修改postgresql.conf，注意设置下下面几个地方：
wal_level = hot_standby   # 这个是设置主为wal的主机
max_wal_senders = 5       # 这个设置了可以最多有几个流复制连接，差不多有几个从，就设置几个
wal_keep_segments = 128   # 设置流复制保留的最多的xlog数目
wal_sender_timeout = 60s  # 设置流复制主机发送数据的超时时间
max_connections = 100     # 这个设置要注意下，从库的max_connections必须要大于主库的

1.4 重启主库

2. 备数据库配置
主机192.168.1.203
2.1 使用pg_basebackup建备库
pg_basebackup -F p --progress -D /home/postgres/data -h 192.168.1.202 -p 5432 -U replica --password
这里使用了pg_basebackup这个命令，/home/postgres/data这个目录是空的
成功之后，就可以看到这个目录中现有的文件都是一样的了。

2.2 进入到/home/postgres/data目录，修改recovery.conf，只要修改几个地方就行了
standby_mode = on  # 这个说明这台机器为从库
primary_conninfo = ‘host=192.168.1.202 port=5432 user=replica password=replica‘  # 这个说明这台机器对应主库的信息
recovery_target_timeline = ‘latest‘ # 这个说明这个流复制同步到最新的数据

2.3 postgresql.conf中也有几个地方要进行修改
max_connections = 200              # 一般查多于写的应用从库的最大连接数要比较大
hot_standby = on                   # 说明这台机器不仅仅是用于数据归档，也用于数据查询
max_standby_streaming_delay = 30s  # 数据流备份的最大延迟时间
wal_receiver_status_interval = 10s # 多久向主报告一次从的状态，当然从每次数据复制都会向主报告状态，这里只是设置最长的间隔时间
hot_standby_feedback = on          # 如果有错误的数据复制，是否向主进行反馈

2.4 启动备

【主库】查看配置结果
postgres=# select * from pg_stat_replication ;
-[ RECORD 1 ]----+------------------------------
pid              | 1793
usesysid         | 24576
usename          | replica
application_name | walreceiver
client_addr      | 192.168.1.203
client_hostname  | 
client_port      | 32250
backend_start    | 2017-09-01 22:23:16.924496+08
backend_xmin     | 1676
state            | streaming
sent_location    | 0/60003E0
write_location   | 0/60003E0
flush_location   | 0/60003E0
replay_location  | 0/60003E0
sync_priority    | 0
sync_state       | async

【异步更改为同步方式】

1. 主数据库配置
主机192.168.1.202
1.1 修改postgresql.conf
synchronous_standby_names = ‘standby01‘

2. 备数据库配置
主机192.168.1.203
2.2 vi recovery.conf 
standby_mode = on
primary_conninfo = ‘application_name=standby01 host=192.168.1.202 port=5432 user=replica password=replica‘
recovery_target_timeline = ‘latest

3.重启动主备库

【主库】查看
postgres=# select * from pg_stat_replication ;
-[ RECORD 1 ]----+----------------------------
pid              | 1706
usesysid         | 24576
usename          | replica
application_name | standby01
client_addr      | 192.168.1.203
client_hostname  | 
client_port      | 59550
backend_start    | 2017-09-01 23:36:05.7176+08
backend_xmin     | 1676
state            | streaming
sent_location    | 0/70000D0
write_location   | 0/70000D0
flush_location   | 0/70000D0
replay_location  | 0/70000D0
sync_priority    | 1
sync_state       | sync