PostgreSQL pg_resetwal处理机制

Posted 2022-09-14 yzs的专栏

pg_resetwal的参数

ControlFile结构及pg_resetwal参数影响的字段

static struct option long_options[] = 
    "commit-timestamp-ids", required_argument, NULL, c,
    "pgdata", required_argument, NULL, D,
    "epoch", required_argument, NULL, e,
    "force", no_argument, NULL, f,
    "next-wal-file", required_argument, NULL, l,
    "multixact-ids", required_argument, NULL, m,
    "dry-run", no_argument, NULL, n,
    "next-oid", required_argument, NULL, o,
    "multixact-offset", required_argument, NULL, O,
    "next-transaction-id", required_argument, NULL, x,
    "wal-segsize", required_argument, NULL, 1,
    NULL, 0, NULL, 0
  ;

介绍

PG11允许用户在线修改WAL段文件大小。以往版本需要重新编译，并且不同--wal-segsize设置的PG相互不兼容。这个值范围1—1024，为2的平方且单位M。当改变大小时建议和-l参数一起使用，设置下一个WAL文件名，防止重复使用之前的名字。下一个段文件名要比当前已存在的都要大，

该工具会将WAL目录下日志全部删除，并生成一个新WAL段文件。该文件名起名规则：

1、-l指定的段文件名解析出段号minXlogSegNo

2、FindEndOfXLOG扫描WAL目录下所有文件得到最大的文件号：

1）newXlogSegNo为pg_control文件中记录的ckp所属段号

2）若目录下由比这个号大的，则更新newXlogSegNo为该段号

3）该段号转换成WAL长度后，除以新段文件大小得到新段文件段号newXlogSegNo，将之+1作为新段文件的段号

3、原pg_control文件中的ckp作为CHECKPOINT记录写入新段文件里面。该段文件仅写这一个WAL，后面的大小全部清0。

4、新pg_control文件的checkpoint位置为该文件中CHECKPOINT记录位置。

5、这个工具比较危险，慎用。

6、在主备环境中，备机启动不起来，且日志损坏时，主机数据量非常大，全量重新拷贝又耗费时间特别长，此时可以尝试使用这个工具：

1）比较备机和主机的pg_control文件的checkpoint位置，若备机和主机记录的checkpoint位置相等，则可以执行pg_resetwal，这样重新启动后可以正常构建流复制，数据也不会丢

2）若备机的checkpoint小，使用这个pg_control文件进行pg_resetwal可能重启后构建不起来流复制。使用主机的pg_control文件进行pg_resetwal，重启后可构建流复制，但丢数据

3）若备机的checkpoint大，使用这个pg_control文件进行pg_resetwal，可能重启后构建不起来流复制，即使构建起来也丢数据。使用主机的pg_control文件进行pg_resetwal，应该也可以正常。

4）备机的时间线文件需要清理

流程

pg_control文件的更新，然后调用KillExistingXLOG删除pg_wal目录下的所有WAL文件：

while(errno = 0, (xlde = readdir(xldir)) != NULL)
              if(IsXLogFileName(xlde->d_name) || IsPartialXLogFileName(xlde->d_name))
                     snprintf(path,sizeof(path), "%s/%s", XLOGDIR, xlde->d_name);
                     if(unlink(path) < 0)
                            pg_log_error("couldnot delete file \\"%s\\": %m", path);
                            exit(1);
                     
              
       

调用函数KillExistingArchiveStatus删除archive_status目录下.ready，.done和.partial.ready、.partial.done文件：

while(errno = 0, (xlde = readdir(xldir)) != NULL)
              if(strspn(xlde->d_name, "0123456789ABCDEF") == XLOG_FNAME_LEN&&
                     (strcmp(xlde->d_name+ XLOG_FNAME_LEN, ".ready") == 0 ||
                      strcmp(xlde->d_name + XLOG_FNAME_LEN,".done") == 0 ||
                     strcmp(xlde->d_name + XLOG_FNAME_LEN,".partial.ready") == 0 ||
                      strcmp(xlde->d_name + XLOG_FNAME_LEN,".partial.done") == 0))
              
                     snprintf(path,sizeof(path), "%s/%s", ARCHSTATDIR, xlde->d_name);
                     if(unlink(path) < 0)
                            pg_log_error("couldnot delete file \\"%s\\": %m", path);
                            exit(1);
                     
              
       

最后调用函数WriteEmptyXLOG创建一个新WAL段文件，并仅写入一个checkpoint记录，其中checkpoint记录来自ControlFile结构