Centos7.5 Page cache和Buffer cache

Posted 顧棟

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Centos7.5 Page cache和Buffer cache相关的知识,希望对你有一定的参考价值。

Centos7.5 free命令 Page cache Buffer cache

free命令

-h   以人性化显示
--si 指定计算倍数为1000.
-b  指定单位为bytes
-m  指定单位为mb
-k  指定单位为kb
-g  指定单位为gb
-t  显示物理内存和虚拟内存的总和
-s  n 每隔n秒显示一次
-c  显示多少次
-V  显示free的版本信息并退出
-l  显示最低和最高的内存数据统计
-w  将buff和cacher 分开显示,默认是在一起显示的。

使用 free -m命令展示内存使用情况

>  free -m
              total        used        free      shared  buff/cache   available
Mem:           7822        7140         120         430         561          39
Swap:         10239          65       10174

使用free -wb命令展示内存使用情况。-w是拆分buff和cache的

> free -wb
              total        used        free      shared     buffers       cache   available
Mem:     8202452992  7485788160   138268672   451870720      217088   578179072    47931392
Swap:   10737414144    68296704 10669117440

其中Mem行表示物理内存统计

  • total:表示物理内存总量 (对应/proc/meminfo 里的MemTotal)
  • used:表示总计分配给缓存(包含buffers 与cache )使用的数量,但其中可能部分缓存并未实际使用。
  • free:未被分配的内存。(对应/proc/meminfo 里的MemFree)
  • shared:共享内存。(对应/proc/meminfo 里的Shmem)
  • buffers:系统分配但未被使用的buff(对应/proc/meminfo里的Buffers)
  • cache:cache(对应/proc/meminfo 里的Cached and Slab) 的和。
  • available:活跃的可用的内存,代表的是一个新的应用程序可以使用内存的估计值,它不等于 free + buff/cache ,因为在centos 7.2与Ubuntu 16.04以上(包含)的系统使用了新的Linux内核,所以并不是所有的buffer/cache空间都可以被回收。

计算公式

used=total - free - buffers - cache

buff/cache = buffers + cache

之前的版本有一个**-/+ buffers/cache**显示行,其中used代表去除buffers和cache实际使用的内存, free代表的是 total - 第二行used, 也就是 第一行free + 第一行buffers + 第一行cached

如果cache 的值很大,说明cache住的文件数很多。如果频繁访问到的文件都能被cache住,那么磁盘的读IO 必会非常小 。

Swap:表示硬盘上交换分区的使用情况。虚拟内存。

Page cache(页面缓存)

Page cache 也叫页缓冲或文件缓冲,Page cache由内存中的物理page组成,其内容对应磁盘上的block。page cache的大小通常为4k,在64位系统上为8k,大小是动态变化的,可以扩大,也可以在内存不足时缩小。cache缓存的存储设备被称为后备存储(backing store),注意我们在block I/O中提到的:一个page通常包含多个block,这些block不一定是连续的。Page是Linux内核进行内存管理的基本单元。文件的组织单位为一页, 也就是一个page cache大小,文件读取是由外存上不连续的几个磁盘块,到buffer cache,然后组成page cache,然后供给应用程序。

Page cache在linux读写文件时,它用于缓存文件的逻辑内容,从而加快对磁盘上映像和数据的访问。具体说是加速对文件内容的访问,buffer cache缓存文件的具体内容——物理磁盘上的磁盘块,这是加速对磁盘的访问。

Buffer cache(块缓存)

当一个block被读入内存或者等待写入块设备时,保存在buffer中,一个buffer对应一个block。

Buffer cache 也叫块缓冲,是对物理磁盘上的一个磁盘块进行的缓冲,其大小为通常为1k,磁盘块也是磁盘的组织单位。设立buffer cache的目的是为在程序多次访问同一磁盘块时,减少访问时间。系统将磁盘块首先读入buffer cache 如果cache空间不够时,会通过一定的策略将一些过时或多次未被访问的buffer cache清空。程序在下一次访问磁盘时首先查看是否在buffer cache找到所需块,命中可减少访问磁盘时间。不命中时需重新读入buffer cache。

对buffer cache 的写分为两种,

一是直接写,这是程序在写buffer cache后也写磁盘,要读时从buffer cache 上读,

二是后台写,程序在写完buffer cache 后并不立即写磁盘,因为有可能程序在很短时间内又需要写文件,如果直接写,就需多次写磁盘了。这样效率很低,而是过一段时间后由后台写,减少了多次访磁盘 的时间。

Buffer cache 是由物理内存分配,linux系统为提高内存使用率,会将空闲内存全分给buffer cache ,当其他程序需要更多内存时,系统会减少cahce大小。

页(page)

页是Linux内核进行内存管理的基本单元。MMU和虚拟内存也都使用页作为基本管理单元。不同的架构有不同的页大小,绝大部分的情况是32-bit使用4KB页大小,64-bit使用8KB页大小。这意味着如果一台机器的物理内存为1GB大小,大小为4KB,那么它的物理内存会被分为262144个页。

内核使用page结构体来管理物理内存中的所有page,内核需要知道一个page是否空闲(即page是否被分配出去了),如果page不是空闲的,那么内核需要知道page的所有者是谁。

page结构体只表示物理内存的page,不是虚拟内存的page。一个虚拟page不同时间可能会对应不同的物理page,即使这个虚拟page存储的数据没有变化(swapping等原因造成的)。

物理内存中的每一个page都会有一个对应的struct page实例,即有多少个页,在内存中就有多少个struct page实例,无论该page是否被使用。听起来是一个很大的内存开销,但是实际上并不大,比如一个有4GB物理内存的系统,使用8KB大小的page。那么总共需要524288个struct page实例,这总共需要20M的内存,相对于4GB的物理内存来说,开销其实很小。

Buffer page (缓冲页)

如果内核需要单独访问一个块,就会涉及到buffer page,并会检查对应的buffer head。

Swap space (交换空间)

Swap space 交换空间,是虚拟内存的表现形式。系统为了应付一些需要大量内存的应用,而将磁盘上的空间做内存使用,当物理内存不够用时,将其中一些暂时不需的数据交换 到交换空间,也叫交换文件或页面文件中。做虚拟内存的好处是让进程以为好像可以访问整个系统物理内存。因为在一个进程访问数据时,其他进程的数据会被交换 到交换空间中。

Swap cache (交换缓存)

swapcached,它表示交换缓存的大小。Page cache是磁盘数据在内存中的缓存,而swap cache则是交换分区在内存中的临时缓存。

Memory mapping (内存映射)

内核有两种类型的内存映射:共享型(shared)和私有型(private)。私有型是当进程为了只读文件,而不写文件时使用,这时,私有映射更加高效。 但是,任何对私有映射页的写操作都会导致内核停止映射该文件中的页。所以,写操作既不会改变磁盘上的文件,对访问该文件的其它进程也是不可见的。

共享内存中的页通常都位于page cache,私有内存映射只要没有修改,也位于page cache。当进程试图修改一个私有映射内存页时,内核就把该页进行复制,并在页表中用复制的页替换原来的页。由于修改了页表,尽管原来的页仍然在 page cache,但是已经不再属于该内存映射。而新复制的页也不会插入page cache,而是添加到匿名页反向映射数据结构。

匿名页是什么

Page cache和Buffer cache的区别

磁盘的操作有逻辑级(文件系统)和物理级(磁盘块),这两种Cache就是分别缓存逻辑和物理级数据的。

假设我们通过文件系统操作文件,那么文件将被缓存到Page Cache,如果需要刷新文件的时候,Page Cache将交给Buffer Cache去完成,因为Buffer Cache就是缓存磁盘块的。

也就是说,直接去操作文件,那就是Page Cache区缓存,用dd等命令直接操作磁盘块,就是Buffer Cache缓存的东西。

Page cache实际上是针对文件系统的,是文件的缓存,在文件层面上的数据会缓存到page cache。文件的逻辑层需要映射到实际的物理磁盘,这种映射关系由文件系统来完成。当page cache的数据需要刷新时,page cache中的数据交给buffer cache,但是这种处理在2.6版本的内核之后就变的很简单了,没有真正意义上的cache操作。

Buffer cache是针对磁盘块的缓存,也就是在没有文件系统的情况下,直接对磁盘进行操作的数据会缓存到buffer cache中,例如,文件系统的元数据都会缓存到buffer cache中。

简单说来,page cache用来缓存文件数据,buffer cache用来缓存磁盘数据。在有文件系统的情况下,对文件操作,那么数据会缓存到page cache,如果直接采用dd等工具对磁盘进行读写,那么数据会缓存到buffer cache。

Buffer(Buffer Cache)以块形式缓冲了块设备的操作,定时或手动的同步到硬盘,它是为了缓冲写操作然后一次性将很多改动写入硬盘,避免频繁写硬盘,提高写入效率。

Cache(Page Cache)以页面形式缓存了文件系统的文件,给需要使用的程序读取,它是为了给读操作提供缓冲,避免频繁读硬盘,提高读取效率。

以上是关于Centos7.5 Page cache和Buffer cache的主要内容,如果未能解决你的问题,请参考以下文章

cache和buff的区别

buff/cache设置上线

Linux [buff/cache]内存缓存占用过高分析和优化

Linux [buff/cache]内存缓存占用过高分析和优化

linux buff/cache 过高

buff/cache内存缓存过大,设置定时清理