PostgreSQL实用技巧

Posted 2023-01-13 不剪发的Tony老师

日志功能

记录慢查询语句

开启慢查询记录功能，执行时间等于或者大于 log_min_duration_statement 设置值的语句会被记录：

ALTER database postgres SET log_min_duration_statement = '250ms';

设置日志记录的语句类型

使用 log_statement 选项设置日志记录的语句类型：

ALTER DATABASE postgres SET log_statement = 'all';

有效的取值包括 all、ddl、none 以及 mod。

记录锁等待事件

当数据库出现锁等待事件时记录日志：

ALTER DATABASE postgres SET log_lock_waits = 'on';

性能技巧

设置语句的执行超时时间

设置语句的执行超时可以阻止超长运行的语句。超时时间可以基于数据库、用户或者会话进行设置。推荐设置一个全局的超时时间，然后根据需要为具体用户或者会话设置特殊的超时时间。

ALTER DATABASE mydatabase SET statement_timeout = '60s';

查找占用资源最多的查询和进程

pg_stat_statements 插件可以帮助我们发现消耗资源最多的查询和进程。

# create extension pg_stat_statements;

SELECT
	total_exec_time,
	mean_exec_time as avg_ms,
	calls,
	query
FROM pg_stat_statements
ORDER BY mean_exec_time DESC
LIMIT 10;

监控数据库连接

以下查询可以按照状态返回数据库连接的数量：

SELECT count(*),
	   state
FROM pg_stat_activity
GROUP BY state;

如果空闲（idle）连接数量超过了 20，推荐使用连接池，例如 PgBouncer。

查看表的大小

使用以下语句查看表的文件大小：

SELECT pg_relation_size('table_name');

-- 更好的显示格式
SELECT pg_size_pretty(pg_relation_size('table_name'));

查看全部表的大小

以下查询返回了数据库中全部表的大小，从大到小进行排序：

SELECT relname AS relation,
       pg_size_pretty (
         pg_total_relation_size (C .oid)
       ) AS total_size
FROM pg_class C
LEFT JOIN pg_namespace N ON (N.oid = C .relnamespace)
WHERE nspname NOT IN (
        'pg_catalog',
        'information_schema'
      )
  AND C .relkind <> 'i'
  AND nspname !~ '^pg_toast'
  ORDER BY pg_total_relation_size (C .oid) DESC

检查未使用的索引

使用以下查询返回未被使用的索引，按照索引大小降序排列。

SELECT schemaname || '.' || relname AS table,
       indexrelname AS index,
       pg_size_pretty(pg_relation_size(i.indexrelid)) AS "index size",
       idx_scan as "index scans"
FROM pg_stat_user_indexes ui
JOIN pg_index i ON ui.indexrelid = i.indexrelid
WHERE NOT indisunique
  AND idx_scan < 50
  AND pg_relation_size(relid) > 5 * 8192
ORDER BY 
  pg_relation_size(i.indexrelid) / nullif(idx_scan, 0) DESC NULLS FIRST,
  pg_relation_size(i.indexrelid) DESC;

评估表中的数据量

基于内部统计信息返回表中的近似数据量，可以用于替代大表的 SELECT count(*) 查询。

SELECT reltuples::numeric as count
FROM pg_class
WHERE relname='table_name';

非阻塞式的索引创建

创建索引时使用 CONCURRENTLY 选项可以避免获取表上的锁，该选项不能在事务中使用。

CREATE INDEX CONCURRENTLY foobar ON foo (bar);

PSQL 命令

自动记录查询占用的时间

返回每次查询占用的时间，包括网络传输时间。

\\timing

可以利用 .psqlrc 文件实现默认配置。

自动格式化查询结果

提高查询结果的可读性：

\\x auto

调用文本编辑器

变量 $EDITOR 用于设置一个默认的文本编辑器，输入以下命令可以打开并编辑最后一次执行的查询语句。

\\e

保存并关闭编辑器之后，数据库会执行保存的查询语句。

设置空值的显示内容

将空值 null 显示为其它字符，方便区分空值和空字符串。

\\pset null ⛔

保存查询历史

为指定数据库设置一个保存查询历史的本地文件：

\\set HISTFILE ~/.psql_history-:DBNAME

显示内部命令对应的查询语句

psql 命令行选项 -E（–echo-hidden）可以显示内部命令（例如 \\dt mytable）生成的查询语句：

psql -E

只返回结果数据

psql 命令行的 -qtA 选项表示以静默模式运行查询，以非对齐的格式返回结果，并且只返回数据。该选项和 -c 选项结合使用，可以用于脚本文件获取查询结果。

psql -qtA

以 html 表格形式返回结果

psql 命令行的 -qtH 选项表示以静默模式运行查询，以 HTML 表格形式返回结果，并且只返回数据。

psql -qtH

清理屏幕

以下命令可以实现清屏：

\\! clear

连续运行一个查询语句

以下命令可以每间隔 2 秒自动执行一次最后的查询语句并显示结果：

\\watch

回退到上一个语句

在交互模式下，设置以下命令可以在执行出错时自动回退到上一个语句执行之前：

\\set ON_ERROR_ROLLBACK interactive

直接导出 CSV 格式

连接数据库时，指定 --csv 选项和查询语句可以运行查询并以 CSV 格式输出查询结果。

psql <connection-string> --csv -c 'select * from test;'

运行脚本文件

以下命令可以在 psql 中执行一个脚本文件：

\\i filename

设置清晰的边界

以下命令可以在 psql 中为查询结果设置一个显示边界：

\\pset border 2

将 linestyle 设置为 unicode

将 linestyle 设置为 unicode 时，结合上面的配置可以获得更清晰的显示格式：

\\pset linestyle unicode

SQL 功能

替换空值

coalesce 函数可以将空值转换为指定的字符串：

SELECT id, 
       coalesce(ip, 'no IP') 
FROM logs;

生成序列数据

generate_series 函数可以生成一个指定间隔的数据序列，包括数字和时间戳。

SELECT * FROM
generate_series(now() - '3 month'::interval, now(), '1 day');

截断日期

date_trunc 函数可以将日期数据截断为指定的精度，例如月份、星期、日、小时、分钟。

SELECT date_trunc('day', now());

时间数据的加减运算

时间戳数据可以直接加减一个时间间隔：

SELECT now() - '1 month'::interval;

暂停会话进程

pg_sleep 函数可以将当前会话进程暂停指定的时间：

select pg_sleep(2.5);

实用命令

创建只读用户

系统角色 pg_read_all_data 可以用于读取所有的数据表：

GRANT pg_read_all_data TO username;

终止指定用户的后台进程

使用以下查询终止用户“test”的所有后台进程：

WITH pids AS (
  SELECT pid
  FROM pg_stat_activity
  WHERE usename='test'
)
SELECT pg_terminate_backend(pid)
FROM pids;

取消指定用户正在运行的 SQL 语句

以下查询可以取消用户“test”正在运行的所有 SQL 查询，回滚未提交的事务：

WITH pids AS (
  SELECT pid 
  FROM pg_stat_activity 
  WHERE username='test'
)
SELECT pg_cancel_backend(pid)
FROM pids;