linux性能优化如何定位系统内存的问题

Posted sysu_lluozh

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux性能优化如何定位系统内存的问题相关的知识,希望对你有一定的参考价值。

有没有迅速定位内存问题的方法?当定位出内存的瓶颈后,又有哪些优化内存的思路呢?

一、内存性能指标

为了分析内存的性能瓶颈,首先要知道怎样衡量内存的性能,也就是性能指标问题

回顾一下有哪些内存性能指标

1.1 系统内存使用情况

最容易想到的是系统内存使用情况,比如已用内存、剩余内存、共享内存、可用内存、缓存和缓冲区的用量等

  • 已用内存
    已经使用的内存

  • 剩余内存
    还未使用的内存

  • 共享内存
    通过tmpfs实现,所以它的大小也就是tmpfs使用的内存大小
    tmpfs其实也是一种特殊的缓存

  • 可用内存
    新进程可以使用的最大内存,它包括剩余内存和可回收缓存

  • 缓存
    包括两部分:
    一部分是磁盘读取文件的页缓存,用来缓存从磁盘读取的数据,可以加快以后再次访问的速度
    一部分是Slab分配器中的可回收内存

  • 缓冲区
    对原始磁盘块的临时存储,用来缓存将要写入磁盘的数据
    这样,内核就可以把分散的写集中起来统一优化磁盘写入

1.2 进程内存使用情况

第二类很容易想到应该是进程内存使用情况,比如进程的虚拟内存、常驻内存、共享内存以及Swap内存等

  • 虚拟内存
    包括进程代码段、数据段、共享内存、已经申请的堆内存和已经换出的内存等
    需要注意,已经申请的内存即使还没有分配物理内存,也算作虚拟内存

  • 常驻内存
    进程实际使用的物理内存,不包括Swap和共享内存

  • 共享内存
    既包括与其他进程共同使用的真实的共享内存,还包括了加载的动态链接库以及程序的代码段等

  • Swap内存
    指通过Swap换出到磁盘的内存

当然,这些指标中常驻内存一般会换算成占系统总内存的百分比,也就是进程的内存使用率

除了这些很容易想到的指标外,需要再强调一下缺页异常

在内存分配的原理中,系统调用内存分配请求后并不会立刻为其分配物理内存,而是在请求首次访问时通过缺页异常来分配

缺页异常又分为下面两种场景:

  • 次缺页异常

可以直接从物理内存中分配时,被称为次缺页异常

  • 主缺页异常

需要磁盘I/O介入(比如Swap)时,被称为主缺页异常

显然,主缺页异常升高就意味着需要磁盘I/O,那么内存访问也会慢很多

1.3 Swap使用情况

除了系统内存和进程内存,第三类重要指标就是Swap的使用情况,比如Swap的已用空间、剩余空间、换入速度和换出速度等

已用空间和剩余空间很好理解,就是字面上的意思,已经使用和没有使用的内存空间
换入和换出速度,则表示每秒钟换入和换出内存的大小

1.4 性能指标思维导图

内存的性能指标需要熟记并且会用,将这些指标汇总成了一个思维导图:

在这里插入图片描述

二、内存性能工具

了解了内存的性能指标,还得知道怎么才能获得这些指标,也就是会用性能工具

回顾一下前面案例中已经用到的各种内存性能工具

2.1 free

首先,所有的案例中都用到了free
这是个最常用的内存工具,可以查看系统的整体内存和Swap使用情况

2.2 top或ps

相对应的,可以用topps查看进程的内存使用情况

2.3 vmstat

通过proc文件系统可以找到找到了内存指标的来源,并通过vmstat动态观察了内存的变化情况
free相比,vmstat除了可以动态查看内存变化,还可以区分缓存和缓冲区、Swap换入和换出的内存大小

2.4 cachestat

为了弄清楚缓存的命中情况,可以使用cachestat查看整个系统缓存的读写命中情况,并用cachetop观察每个进程缓存的读写命中情况

2.5 memleak

用vmstat发现内存使用在不断增长,又用memleak确认发生了内存泄漏
通过memleak给出的内存分配栈找到了内存泄漏的可疑位置

2.6 sar

sar可以发现缓冲区和Swap升高的问题,通过cachetop找到了缓冲区升高的根源,通过对比剩余内存跟/proc/zoneinfo的内存阈发现Swap升高是内存回收导致的

三、性能指标和工具的联系

3.1 关联维度

性能工具怎么那么多?从两个不同维度出发整理和记忆

  • 从内存指标出发

把工具和内存的工作原理关联起来

  • 从性能工具出发

更快地利用工具找出我们想观察的性能指标

在工具有限的情况下,充分利用手头的每一个工具挖掘出更多的问题

根据内存性能指标和工具的对应关系画出映射表格

3.2 从内存指标出发

第一个表格,从内存指标出发列举了哪些性能工具可以提供这些指标

在实际排查性能问题时可以清楚知道,究竟要用什么工具来辅助分析提供想要的指标
在这里插入图片描述

3.3 从性能工具出发

第二个表格,从性能工具出发整理了这些常见工具能提供的内存指标

掌握了这个表格可以最大化利用已有的工具,尽可能多地找到需要的指标

这些工具的具体使用方法并不用背,只要知道有哪些可用的工具以及这些工具提供的基本指标,真正用到时man一下查它们的使用手册即可
在这里插入图片描述

四、如何分析内存的性能瓶颈

有没有什么方法,可以又快又准地分析出系统的内存问题呢?

方法当然有。还是那个关键词,找关联

4.1 分析思路

其实,虽然内存的性能指标很多,但都是为了描述内存的原理,指标间自然不会完全孤立且一般都会有关联

举个最简单的例子,当看到系统的剩余内存很低时,是不是就说明进程一定不能申请分配新内存了呢?当然不是,因为进程可以使用的内存,除了剩余内存,还包括了可回收的缓存和缓冲区

所以,为了迅速定位内存问题,通常会先运行几个覆盖面比较大的性能工具,比如free、top、vmstat、pidstat等

具体的分析思路主要有这几步:

  1. 先用free和top,查看系统整体的内存使用情况
  2. 再用vmstat和pidstat,查看一段时间的趋势,从而判断出内存问题的类型
  3. 最后进行详细分析,比如内存分配分析、缓存/缓冲区分析、具体进程的内存使用分析

4.2 分析过程流程图

把这个分析过程画成了一张流程图:

在这里插入图片描述
图中列出了最常用的几个内存工具和相关的分析流程。其中箭头表示分析的方向

4.3 分析栗子

举几个例子加深理解

  • 大部分内存都被缓存占用

第一个例子,当通过free发现大部分内存都被缓存占用后,可以使用vmstat或者sar观察一下缓存的变化趋势,确认缓存的使用是否还在继续增大

如果继续增大,则说明导致缓存升高的进程还在运行,那就用缓存/缓冲区分析工具(比如cachetop、slabtop等)分析这些缓存到底被哪里占用

  • 可用内存不足

第二个例子,当free发现系统可用内存不足时,首先要确认内存是否被缓存/缓冲区占用
排除缓存/缓冲区后,可以继续用pidstat或者top定位占用内存最多的进程

找出进程后,再通过进程内存空间工具(比如pmap)分析进程地址空间中内存的使用情况即可

  • 内存不断增长

第三个例子,当通过vmstat或者sar发现内存在不断增长后,可以分析中是否存在内存泄漏的问题

比如可以使用内存分配分析工具memleak检查是否存在内存泄漏,如果存在内存泄漏问题,memleak会输出内存泄漏的进程以及调用堆栈

五、小结

回顾常见的内存性能指标,梳理常见的内存性能分析工具,最后总结了快速分析内存问题的思路

虽然内存的性能指标和性能工具都挺多,但理解了内存管理的基本原理后,发现其实都有一定的关联,需要梳理出它们的关系并掌握内存分析的套路

找到内存问题的来源后,下一步就是相应的优化工作了,内存调优最重要的就是保证应用程序的热点数据放到内存中,并尽量减少换页和交换

常见的优化思路:

  1. 最好禁止Swap
    如果必须开启Swap,降低swappiness的值可以减少内存回收时Swap的使用倾向

  2. 减少内存的动态分配
    比如,可以使用内存池、大页(HugePage)等

  3. 尽量使用缓存和缓冲区来访问数据
    比如,可以使用堆栈明确声明内存空间来存储需要缓存的数据,或者用Redis这类的外部缓存组件优化数据的访问

  4. 使用cgroups等方式限制进程的内存使用情况
    可以确保系统内存不会被异常进程耗尽

  5. 调整核心应用的oom_score
    通过/proc/pid/oom_adj调整核心应用的oom_score,可以保证即使内存紧张核心应用也不会被OOM杀死

以上是关于linux性能优化如何定位系统内存的问题的主要内容,如果未能解决你的问题,请参考以下文章

Linux性能优化方向及相关工具

Linux之系统性能优化

linux系统优化

90%的人会遇到性能问题,如何用1行代码快速定位?

Linux性能优化 第五章 性能工具:特定进程内存

linux性能优化如何分析系统I/O瓶颈