数据库占用大量内存的检测和优化（PostgreSQL）
Posted 感悟人生263
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据库占用大量内存的检测和优化（PostgreSQL）相关的知识，希望对你有一定的参考价值。
select * from pg_stat_user_tables where n_live_tup > 100000 and seq_scan > 0 order by seq_tup_read desc limit 10;
//这个 SQL 查询用于检查在 PostgreSQL 数据库中，哪些用户表（user tables）的行数（live tuples）超过 100,000，且进行了顺序扫描（sequential scans）。
查询结果会按顺序读取的元组数（sequential tuple reads）降序排列，并显示前 10 个表。
//
//查询解释如下：
//
//pg_stat_user_tables：PostgreSQL 系统表，提供关于用户表的统计信息。
//n_live_tup：表中当前活动元组（行）的数量。
//seq_scan：对表进行的顺序扫描次数。
//seq_tup_read：顺序扫描期间读取的元组数量。
//执行这个查询可以帮助您分析数据库性能，找出可能需要优化的表。例如，如果某个表有大量的顺序扫描，您可能需要考虑为该表添加索引以提高查询性能。
查询解释如下：
pg_stat_user_tables：PostgreSQL 系统表，提供关于用户表的统计信息。n_live_tup：表中当前活动元组（行）的数量。seq_scan：对表进行的顺序扫描次数。seq_tup_read：顺序扫描期间读取的元组数量。
执行这个查询可以帮助您分析数据库性能，找出可能需要优化的表。例如，如果某个表有大量的顺序扫描，您可能需要考虑为该表添加索引以提高查询性能。
relid: 表的 OID (对象标识符)。schemaname: 包含该表的模式的名称。relname: 表名。seq_scan: 对表进行的顺序扫描次数。seq_tup_read: 顺序扫描期间读取的元组数量。idx_scan: 对表进行的索引扫描次数。idx_tup_fetch: 索引扫描期间读取的元组数量。n_ins: 插入该表的元组数量。n_upd: 更新该表的元组数量。n_del: 删除该表的元组数量。n_hot_upd: 表中的 "热" 更新的元组数量。热更新是指在同一数据块中进行的更新操作。n_live_tup: 表中当前活动元组（行）的数量。n_dead_tup: 表中当前已删除的元组数量。n_mod_since_analyze: 自上次分析操作（ANALYZE命令）后修改的元组数量。last_vacuum: 最后一次对表执行VACUUM操作的时间戳。last_autovacuum: 最后一次自动执行VACUUM操作的时间戳。last_analyze: 最后一次对表执行ANALYZE操作的时间戳。last_autoanalyze: 最后一次自动执行ANALYZE操作的时间戳。vacuum_count: 表上执行的VACUUM操作次数。autovacuum_count: 表上自动执行的VACUUM操作次数。analyze_count: 表上执行的ANALYZE操作次数。autoanalyze_count: 表上自动执行的ANALYZE操作次数。
这些字段可以帮助您分析数据库表的使用情况，以便进行性能优化。例如，通过查看 seq_scan 和 idx_scan，您可以了解表上的顺序扫描和索引扫描的次数，从而判断是否需要添加或优化索引。同时，查看 last_vacuum 和 last_analyze 也有助于了解表的维护情况。
根据您提供的查询，您似乎关心那些具有大量活动元组和顺序扫描的表。在 PostgreSQL 数据库中优化这些表的性能，可以从以下几个方面进行：
-
添加或优化索引： 对于具有大量顺序扫描的表，请检查您是否可以添加更多索引以减少顺序扫描。检查查询，看看是否有任何频繁用于过滤条件的列，这些列可能会受益于索引。同时，确保现有索引已经正确地维护和使用。
-
调整 PostgreSQL 配置参数： 您可以通过调整 PostgreSQL 的配置参数来优化数据库性能。例如，增加
shared_buffers、effective_cache_size和work_mem可以改善数据库性能。请注意，调整这些参数可能需要根据系统资源和实际工作负载进行权衡。 -
表分区： 如果表非常大，您可以考虑使用表分区。分区允许您将大型表分解为较小、更易管理的部分。这样可以加快查询速度，因为查询只需要访问感兴趣的分区，而不是整个表。
-
定期维护： 使用
VACUUM和ANALYZE命令定期清理表并更新统计信息。这将帮助优化器更好地了解数据分布，从而生成更有效的查询计划。您可以设置自动维护任务（autovacuum）来自动执行这些操作。 -
优化查询： 分析执行缓慢的查询，看看是否可以通过更改查询结构或使用更高效的操作来提高性能。您可以使用
EXPLAIN和EXPLAIN ANALYZE命令来了解查询的执行计划以及如何优化。 -
硬件和数据库位置： 如果您的系统硬件资源有限，例如 CPU、内存或磁盘速度，那么考虑升级硬件或将数据库移到更高性能的服务器上。
-
并行处理和负载平衡： 如果可能的话，使用并行查询和负载平衡来分摊工作负载。这可以在多个 CPU 核心或服务器之间分配查询处理任务，从而加快查询速度。
对于运行 Odoo 服务的系统，特别要关注以下几点：
- 检查 Odoo 的配置文件，确保数据库连接参数、工作线程数等已经正确设置。
- 使用 Odoo 的监控工具来检查系统性能，找出可能的瓶颈。
- 在开发自定义模块或扩展现有模块时，请确保遵循最佳实践，以免影响性能。
请注意，优化数据库性能通常需要
继续优化的其他建议：
-
使用连接池： 使用连接池可以减少建立和关闭数据库连接的开销。在运行 Odoo 服务时，可以考虑使用像 PgBouncer 这样的连接池。
-
存储过程和函数： 如果有一些复杂的查询或业务逻辑，可以考虑使用存储过程或函数。这将有助于减少网络传输的数据量，提高应用程序性能。
-
优化数据模型： 检查数据模型，确保表之间的关系已经正确建立，避免冗余数据和不一致。优化数据模型可以提高查询性能。
-
监控和日志记录： 设置监控和日志记录工具，以定期检查数据库性能。这将帮助您识别性能问题，从而更好地优化数据库。
-
物化视图： 如果有一些经常使用的聚合查询，可以考虑使用物化视图。物化视图将查询结果存储为一个表，而不是实时计算。这样可以加快查询速度，但需要注意数据更新和维护。
-
使用只读副本： 如果有大量的只读查询，可以考虑设置一个只读副本。这将使读取负载分散到多个服务器，从而提高性能。
在进行任何优化更改之前，请确保对现有系统进行备份，以便在出现问题时能够恢复。同时，确保在生产环境中应用更改之前，先在测试环境中验证更改的效果。这将确保您的系统在优化过程中保持稳定和可靠。
-
*避免使用 SELECT ： 当编写查询时，避免使用 SELECT * 从表中检索所有列。尽量只选择所需的列，以减少数据传输量和查询时间。
-
使用索引覆盖查询： 索引覆盖查询是一种查询，其所有列都来自索引，而不需要访问表本身。尝试优化查询，以便只从索引中检索数据，从而提高查询性能。
-
批量插入和更新： 当需要插入或更新大量数据时，尽量使用批量插入和更新。批量操作比单个操作更有效率，因为它们减少了数据库管理系统的开销。
-
适当的事务管理： 确保在应用程序中正确使用事务。长时间运行的事务可能会锁定资源并降低性能。尝试将事务保持在最小时间范围内，并在可能的情况下使用只读事务。
-
定期清理和维护： 定期对数据库进行清理和维护，例如删除不再需要的数据，压缩和整理表。这将有助于提高性能并减少磁盘空间使用。
-
监控并调整内存和资源使用： 观察数据库服务器的内存和资源使用情况，根据需要调整配置参数。例如，您可能需要增加工作内存或共享缓冲区大小以提高查询性能。
在执行任何优化操作之前，始终确保对现有系统进行备份，以便在出现问题时能够恢复。同时，在应用生产环境中的更改之前，先在测试环境中验证更改的效果。这将确保您的系统在优化过程中保持稳定和可靠。请注意，每个数据库和应用程序都有其独特的性能特征，因此一些建议可能不适用于您的特定情况。在实施任何更改时，请务必进行充分的测试和评估。
-
分析查询模式： 检查查询日志和应用程序代码，以了解哪些列经常用于过滤、排序和联接操作。这些列可能是创建索引的良好候选者。
-
考虑列的基数： 在选择要索引的列时，应考虑列的基数（不同值的数量）。具有较高基数的列（例如，主键列）通常适合建立索引，而具有较低基数的列可能不会带来太大的性能提升。
-
创建单列索引： 对于查询中用于过滤条件、排序和联接的列，可以创建单列索引。例如，如果表中有一个名为
user_id的列，经常用于 WHERE 子句进行过滤，可以创建一个索引：
CREATE INDEX idx_user_id ON your_table_name(user_id);
- 创建多列索引： 如果查询经常使用多个列进行过滤和排序，可以考虑创建多列索引。多列索引可以提高查询性能，但也会增加维护成本。例如，如果查询经常基于
user_id和created_at列进行过滤，可以创建一个多列索引：CREATE INDEX idx_user_id_created_at ON your_table_name(user_id, created_at);
- 使用部分索引： 部分索引是只包含满足特定条件的行的索引。如果查询经常基于特定条件进行过滤，可以考虑使用部分索引。例如，如果只关心状态为 "active" 的用户，可以创建一个部分索引：
CREATE INDEX idx_active_users ON your_table_name(user_id) WHERE status = \'active\';
- 监控和调整： 在创建索引之后，监控查询性能和资源使用情况。如果发现性能问题，可能需要对索引进行调整。请注意，索引可能会增加写操作的开销，因此在创建索引时要保持谨慎。
在创建索引之前，请务必备份您的数据库，以防止意外数据丢失。在生产环境中应用更改之前，请先在测试环境中验证性能提升。
Win10优化
关闭Memory Compression
Memory Compression是微软检测并缓解物理内存(RAM)中的问题，但是它本身会占用大量内存。
以管理员权限并运行该命令Disable-MMAgent -mc并重新启动。这会禁用压缩。要在以后再次启用它，请再次运行powershell作为admin并运行该Enable-MMAgent -mc命令。
或者：
始 - >控制面板 - >管理工具 - >任务计划程序 - >任务计划程序库 - > Microsoft-> Windows-> MemoryDiagnostic
有两个订单项。任务的运行可能取决于日志事件。
禁用标记为RunFullMemoryDiagnosticEntry的条目。
参考：
Understand Windows 10 memory compression
以上是关于数据库占用大量内存的检测和优化（PostgreSQL）的主要内容，如果未能解决你的问题，请参考以下文章