linux性能优化linux内存如何工作

Posted sysu_lluozh

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了linux性能优化linux内存如何工作相关的知识，希望对你有一定的参考价值。

和CPU管理一样，内存管理是操作系统最核心的功能之一，内存主要用来存储系统和应用程序的指令、数据、缓存等

接下来看看Linux到底是怎么管理内存

一、内存映射

通常所说的内存容量，其实指的是物理内存
物理内存也称为主存，大多数计算机用的主存都是动态随机访问内存(DRAM)
只有内核才可以直接访问物理内存，那么，进程要访问内存时该怎么办呢？

1.1 虚拟内存

Linux内核给每个进程都提供一个独立的虚拟地址空间，并且这个地址空间是连续的。这样，进程就可以很方便地访问内存，更确切地说是访问虚拟内存

  • 虚拟地址空间

虚拟地址空间的内部又被分为内核空间和用户空间两部分，不同字长(也就是单个CPU指令可以处理数据的最大长度)的处理器，地址空间的范围也不同

比如最常见的32位和64位系统，它们的虚拟地址空间如下图所示：

在这里插入图片描述
通过这里可以看出：

  • 32位系统的内核空间占用1G，位于最高处，剩下的3G是用户空间
  • 64位系统的内核空间和用户空间都是128T，分别占据整个内存空间的最高和最低处，剩下的中间部分是未定义的

1.2 进程的用户态和内核态

进程在用户态时，只能访问用户空间内存
进程进入内核态，才可以访问内核空间内存

虽然每个进程的地址空间都包含了内核空间，但这些内核空间，其实关联的都是相同的物理内存。这样，进程切换到内核态后，就可以很方便地访问内核空间内存

1.3 内存映射

既然每个进程都有一个这么大的地址空间，那么所有进程的虚拟内存加起来，自然要比实际的物理内存大得多

所以，并不是所有的虚拟内存都会分配物理内存，只有那些实际使用的虚拟内存才分配物理内存，并且分配后的物理内存，是通过内存映射来管理的

内存映射，其实就是将虚拟内存地址映射到物理内存地址

为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，如下图所示：

在这里插入图片描述

页表实际上存储在CPU的内存管理单元MMU中。所以正常情况下，处理器就可以直接通过硬件，找出要访问的内存

1.4 页表

当进程访问的虚拟地址在页表中查不到时，系统会产生一个缺页异常，进入内核空间分配物理内存、更新进程页表，最后再返回用户空间，恢复进程的运行

MMU并不以字节为单位来管理内存，而是规定了一个内存映射的最小单位，也就是页，通常是4KB大小。这样，每一次内存映射都需要关联 4 KB或者4KB整数倍的内存空间

页的大小只有4 KB ，导致的另一个问题就是，整个页表会变得非常大
比如说，仅32 位系统就需要100多万个页表项(4GB/4KB)，才可以实现整个地址空间的映射

为了解决页表项过多的问题，Linux提供了两种机制，也就是多级页表和大页(HugePage)

1.5 多级页表

多级页表就是把内存分成区块来管理，将原来的映射关系改成区块索引和区块内的偏移

由于虚拟内存空间通常只用了很少一部分，那么，多级页表就只保存这些使用中的区块，这样 就可以大大地减少页表的项数

Linux用的正是四级页表来管理内存页，如下图所示，虚拟地址被分为5个部分，前4个表项用于选择页，而最后一个索引表示页内偏移

在这里插入图片描述

1.6 大页

顾名思义，就是比普通页更大的内存块
常见的大小有2MB和1GB

大页通常用在使用大量内存的进程上，比如Oracle、DPDK等。

通过这些机制，在页表的映射下，进程可以通过虚拟地址来访问物理内存。那么具体到一个 Linux进程中，这些内存又是怎么使用的呢？

二、虚拟内存空间分布

需要进一步了解虚拟内存空间的分布情况。最上方的内核空间不用多讲，下方的用户空间内存，其实又被分成了多个不同的段，以 32 位系统为例如下图所示：
在这里插入图片描述

通过上图可以看到，用户空间内存从低到高分别是五种不同的内存段：

  1. 只读段，包括代码和常量等
  2. 数据段，包括全局变量等
  3. 堆，包括动态分配的内存，从低地址开始向上增长
  4. 文件映射段，包括动态库、共享内存等，从高地址开始向下增长
  5. 栈，包括局部变量和函数调用的上下文等，栈的大小是固定的，一般是8MB

在这五个内存段中，堆和文件映射段的内存是动态分配的
比如说，使用C标准库的malloc()或者mmap()，就可以分别在堆和文件映射段动态分配内存

其实64位系统的内存分布也类似，只不过内存空间要大得多。那么，更重要的问题来了，内存究竟是怎么分配的呢？

三、内存分配与回收

3.1 内存分配

malloc()是C标准库提供的内存分配函数，对应到系统调用上，有两种实现方式，即brk()和mmap()

  • 小块内存(小于128K)

C标准库使用brk()来分配，也就是通过移动堆顶的位置来分配内存。这些内存释放后并不会立刻归还系统，而是被缓存起来，这样就可以重复使用

  • 大块内存(大于128K)

直接使用内存映射mmap()来分配，也就是在文件映射段找一块空闲内存分配出去

3.2 内存分配优缺点

两种方式的优缺点

  • brk

brk()方式的缓存，可以减少缺页异常的发生，提高内存访问效率
不过，由于这些内存没有归还系统，在内存工作繁忙时，频繁的内存分配和释放会造成内存碎片

  • mmap

mmap()方式分配的内存，会在释放时直接归还系统，所以每次mmap都会发生缺页异常
在内存工作繁忙时，频繁的内存分配会导致大量的缺页异常，使内核的管理负担增大，这也是malloc只对大块内存使用mmap的原因

了解这两种调用方式后，还需要清楚一点，当这两种调用发生后，其实并没有真正分配内存
这些内存，都只在首次访问时才分配，也就是通过缺页异常进入内核中，再由内核来分配内存

3.3 小对象内存分配

如果遇到比页更小的对象，比如不到1K的时候，该怎么分配内存呢？

  • 大量小对象的问题

实际系统运行中，确实有大量比页还小的对象，如果为它们也分配单独的页，那就太浪费内存

  • 缓存重复使用

在用户空间malloc通过brk()分配的内存，在释放时并不立即归还系统，而是缓存起来重复利用
在内核空间
Linux则通过slab分配器来管理小内存，可以把slab看成构建在伙伴系统上的一个缓存，主要作用就是分配并释放内核中的小对象

3.4 内存释放

对内存来说，如果只分配而不释放，就会造成内存泄漏，甚至会耗尽系统内存
所以，在应用程序用完内存后，还需要调用free()或unmap()，来释放这些不用的内存

3.5 内存释放的方式

当然，系统也不会任由某个进程用完所有内存
在发现内存紧张时，系统就会通过一系列机制来回收内存，比如下面这三种方式：

  1. 回收缓存
  • 使用LRU(Least Recently Used)算法，回收最近使用最少的内存页面
  • 回收不常访问的内存，把不常用的内存通过交换分区直接写到磁盘中
  • 杀死进程，内存紧张时系统还会通过OOM(Out of Memory)，直接杀掉占用大量内存的进程
  1. 回收不常访问内存到Swap

第二种方式回收不常访问的内存时，会用到交换分区(Swap)

Swap其实就是把一块磁盘空间当成内存来用，它可以把进程暂时不用的数据存储到磁盘中(这个过程称为换出)，当进程访问这些内存时，再从磁盘读取这些数据到内存中(这个过程称为换 入)
所以，Swap把系统的可用内存变大了

注意：
通常只在内存不足时，才会发生Swap交换，并且由于磁盘读写的速度远比内存慢，Swap会导致严重的内存性能问题

  1. OOM

第三种方式提到的OOM(Out of Memory)，其实是内核的一种保护机制，它监控进程的内存使用情况，并且使用oom_score为每个进程的内存使用情况进行评分：

  • 一个进程消耗的内存越大，oom_score就越大
  • 一个进程运行占用的CPU越多，oom_score就越小

所以，进程的oom_score越大，代表消耗的内存越多，也就越容易被OOM杀死，从而可以更好保护系统

当然，为了实际工作的需要，管理员可以通过/proc文件系统，手动设置进程的oom_adj， 从而调整进程的oom_score

四、如何查看内存使用情况

通过了解内存空间的分布，以及内存的分配和回收，对内存的工作原理有了大概的认识，那么在了解内存的工作原理之后，又该怎么查看系统内存使用情况呢？

4.1 free

第一个想到的应该是free工具吧，下面是一个free的输出示例：

# 注意不同版本的free输出可能会有所不同
$ free
              total        used        free      shared  buff/cache   available
Mem:        8169348      263524     6875352         668     1030472     7611064
Swap:             0           0           0

可以看到，free输出的是一个表格，其中的数值都默认以字节为单位
上面数据中总共有两行六列，这两行分别是：

  1. 物理内存Mem的使用情况
  2. 交换分区Swap的使用情况

六列中，每列数据的含义分别为：

  1. 第一列，total是总内存大小
  2. 第二列，used是已使用内存的大小，包含了共享内存
  3. 第三列，free是未使用内存的大小
  4. 第四列，shared是共享内存的大小
  5. 第五列，buff/cache是缓存和缓冲区的大小
  6. 第六列，available是新进程可用内存的大小

尤其要注意，最后一列的可用内存available，available不仅包含未使用内存，还包括了可回收的缓存，所以一般会比未使用内存更大。不过，并不是所有缓存都可以回收，因为有些缓存可能正在使用中

4.2 top

free显示的是整个系统的内存使用情况，如果想查看进程的内存使用情况，可以用top或者ps等工具。下面是top的输出示例：

# 按下M切换到内存排序
$ top
...
KiB Mem :  8169348 total,  6871440 free,   267096 used,  1030812 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  7607492 avail Mem
  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
  430 root      19  ‑1  122360  35588  23748 S   0.0  0.4   0:32.17 systemd‑journal
 1075 root      20   0  771860  22744  11368 S   0.0  0.3   0:38.89 snapd
 1048 root      20   0  170904  17292   9488 S   0.0  0.2   0:00.24 networkd‑dispat
    1 root      20   0   78020   9156   6644 S   0.0  0.1   0:22.92 systemd
12376 azure     20   0   76632   7456   6420 S   0.0  0.1   0:00.01 systemd
12374 root      20   0  107984   7312   6304 S   0.0  0.1   0:00.00 sshd
...

top输出界面的顶端，显示系统整体的内存使用情况，这些数据跟free类似
下面的内容跟内存相关的几列数据，比如VIRT、RES、SHR以及%MEM等

这些数据，包含了进程最重要的几个内存使用情况：

  • VIRT

进程虚拟内存的大小，只要是进程申请过的内存，即便还没有真正分配物理内存，也会计算在内

  • RES

常驻内存的大小，也就是进程实际使用的物理内存大小，但不包括Swap和共享内存

  • SHR

共享内存的大小，比如与其他进程共同使用的共享内存、加载的动态链接库以及程序的代码段等

  • %MEM

进程使用物理内存占系统总内存的百分比

除了要认识这些基本信息，在查看top输出时，还要注意两点：

  1. 虚拟内存通常并不会全部分配物理内存

从上面的输出，可以发现每个进程的虚拟内存都比常驻内存大得多

  1. 共享内存SHR并不一定是共享的

比方说，程序的代码段、非共享的动态链接库，也都算在SHR里
当然，SHR也包括进程间真正共享的内存，所以在计算多个进程的内存使用时，不要把所有进程的SHR直接相加得出结果

五、小结

梳理了Linux内存的工作原理
对普通进程来说，能看到的其实是内核提供的虚拟内存，这些虚拟内存还需要通过页表，由系统映射为物理内存

当进程通过malloc()申请内存后，内存并不会立即分配，而是在首次访问时，才通过缺页异常陷入内核中分配内存

由于进程的虚拟地址空间比物理内存大很多，Linux还提供了一系列的机制，应对内存不足的问题，比如：

  • 缓存的回收
  • 交换分区Swap
  • OOM

当需要了解系统或者进程的内存使用情况时，可以用free和top 、ps等性能工具，它们都是分析性能问题时最常用的性能工具

以上是关于linux性能优化linux内存如何工作的主要内容，如果未能解决你的问题，请参考以下文章

linux性能优化Linux文件系统如何工作

linux性能优化2-内存相关知识

linux性能优化如何定位系统内存的问题

Linux性能优化 第五章 性能工具：特定进程内存

Linux - 内存性能评估

Linux按照CPU内存磁盘IO网络性能监测转载