Linux 释放cache化缓存

Posted 2021-02-10 wangmo

Linux 释放cache化缓存

 

原文  https://blog.csdn.net/tomspcc/article/details/78131468

机械硬盘的读写速率大多在 70M/s 左右，如果把经常读写的文件放在内存中，这会大幅提高文件的读写速率，提高系统的效率。尤其是访问量大的网站，这样解决了磁盘IO的问题
不过现在都是固态硬盘，常见的读写速率是 0.5G/s ～ 1 G/s ～ 3.5G/s 或者更高，不过这速度在内存的速度上还是很逊色的，据说DDR3，内存数据带宽就=12.8GB/s

对于个人使用的小内存VPS，cache内存持久占用过高，还是影响速度的

swap分区的作用：
Linux内核为了提高读写效率与速率，会将文件在内存中进行缓存，这部分内存就是Cache Memory(缓存内存)。即使你的程序运行结束后，Cache Memory也不会自动释放。这就会导致你在Linux系统中程序频繁读写文件后，你会发现可用物理内存变少。当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap分区中恢复保存的数据到内存中。这样，系统总是在物理内存不够时，才进行Swap交换。所以swap分区不被占用或者占用很少，说明现在系统内存够用，运行还算良好，不会影响系统运行。
首先，当物理内存不足以支撑系统和应用程序（进程）的运作时，这个Swap交换分区可以用作临时存放使用率不高的内存分页，把腾出的内存交给急需的应用程序（进程）使用。有点类似机房的UPS系统，虽然正常情况下不需要使用，但是异常情况下， Swap交换分区还是会发挥其关键作用。
其次，即使你的服务器拥有足够多的物理内存，也有一些程序会在它们初始化时残留的极少再用到的内存分页内容转移到 swap 空间，以此让出物理内存空间。对于有发生内存泄漏几率的应用程序（进程），Swap交换分区更是重要，因为谁也不想看到由于物理内存不足导致系统崩溃。
最后，现在很多个人用户在使用Linux，有些甚至是PC的虚拟机上跑Linux系统，此时可能常用到休眠（Hibernate），这种情况下也是推荐划分Swap交换分区的。
其实少量使用Swap交换空间是不会影响性能，只有当RAM资源出现瓶颈或者内存泄露，进程异常时导致频繁、大量使用交换分区才会导致严重性能问题。另外使用Swap交换分区频繁，还会引起kswapd0进程（虚拟内存管理中, 负责换页的）耗用大量CPU资源，导致CPU飙升。

buffers和cache的区别：
为了提高磁盘存取效率, Linux做了一些精心的设计, 除了对dentry进行缓存(用于VFS,加速文件路径名到inode的转换),还采取了两种主要Cache方式：Buffer Cache和Page Cache。前者针对磁盘块的读写，后者针对文件inode的读写。这些Cache有效缩短了I/O系统调用(比如read,write,getdents)的时间。
磁盘的操作有逻辑级（文件系统）和物理级（磁盘块），这两种Cache就是分别缓存逻辑和物理级数据的。
Page cache实际上是针对文件系统的，是文件的缓存，在文件层面上的数据会缓存到page cache。文件的逻辑层需要映射到实际的物理磁盘，这种映射关系由文件系统来完成。当page cache的数据需要刷新时，page cache中的数据交给buffer cache，因为Buffer Cache就是缓存磁盘块的。但是这种处理在2.6版本的内核之后就变的很简单了，没有真正意义上的cache操作。
Buffer cache是针对磁盘块的缓存，也就是在没有文件系统的情况下，直接对磁盘进行操作的数据会缓存到buffer cache中，例如，文件系统的元数据都会缓存到buffer cache中。

Buffer：缓冲区，一个用于存储速率不同步的设备或优先级不同的设备之间传输数据的区域。通过缓冲区，可以使进程之间的相互等待变少，从而使从速率慢的设备读入数据时，速率快的设备的操作进程不发生间断。
缓冲（buffers）是根据磁盘的读写设计的，把分散的写操作集中进行，减少磁盘碎片和硬盘的反复寻道，从而提高系统性能。linux有一个守护进程定 期清空缓冲内容（即写如磁盘），也可以通过sync命令手动清空缓冲。
简单说来，page cache用来缓存文件数据，buffer cache用来缓存磁盘数据。在有文件系统的情况下，对文件操作，那么数据会缓存到page cache，如果直接采用dd等工具对磁盘进行读写，那么数据会缓存到buffer cache。
所以我们看linux,只要不用swap的交换空间,就不用担心自己的内存太少.如果常常swap用很多,可能你就要考虑加物理内存了.这也是linux看内存是否够用的标准.

Cache： 高速缓存，是位于CPU与主内存间的一种容量较小但速率很高的存储器。由于CPU的速率远高于主内存，CPU直接从内存中存取数据要等待一定时间周 期，Cache中保存着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提 高了系统的效率。Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache)，L1 Cache集成在CPU内部，L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部，常见的容量有256KB或512KB L2 Cache。
如果 cache 的值很大，说明cache住的文件数很多。如果频繁访问到的文件都能被cache住，那么磁盘的读IO bi会非常小。
缓存（cached）是把读取过的数据保存起来，重新读取时若命中（找到需要的数据）就不要去读硬盘了，若没有命中就读硬盘。其中的数据会根据读取频率进行组织，把最频繁读取的内容放在最容易找到的位置，把不再读的内容不断往后排，直至从中删除。

手工释放内存区缓存(本来cache就是为了提升系统性能，缓解磁盘的压力，是linux区别于windows的优势所在，如果真有必要可手工释放一下，也不要永久的的让cache作用无法发挥)
# sync; echo 1 > /proc/sys/vm/drop_caches  #释放 pagecache
# sync; echo 2 > /proc/sys/vm/drop_caches    #释放  dentries 和 inodes：
# sync; echo 3 > /proc/sys/vm/drop_caches  #释放 pagecache，dentries 和 inodes：
# sync; echo 0 > /proc/sys/vm/drop_caches  #默认0为不释放，让系统自己调节

操作前要使用sync，强制将内存中内容写入硬盘，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。这一步是确保第二步的安全性。防止数据或操作丢失。

linux内核2.6的版本执行上述的操作都没问题的，但是到了内核3系列，就不能执行echo 0 >/proc/sys/vm/drop_caches的操作了，这是一个坑，重启才能改回去

# echo 0 >/proc/sys/vm/drop_caches
-bash: echo: write error: Invalid argument
# sysctl -a|grep vm.drop_caches  #内核中有这个参数
vm.drop_caches = 3
# sysctl -w vm.drop_caches=0  #也写不进去，这个在内核2.6系列上面可以的，这也是手工释放内存缓存的另一种形式（sysctl -w vm.drop_caches=3）
error: "Invalid argument" setting key "vm.drop_caches"
# sysctl -w vm.drop_caches=1  #执行其他的是没问题的，但是就是执行0的插入不可以，要重启服务器。
vm.drop_caches = 1

swap清理：  swapoff -a && swapon -a
注意：这样清理有个前提条件，空闲的内存必须比已经使用的swap空间大。

上述只是暂时生效，但是系统重启后，系统还是按照自己默认的方法去使用缓存，有的网友会写定时任务脚本晚上去释放一下内存cache，还有一种暴力的永久生效的方法，使cache的作用基本无法发挥。

修改/etc/sysctl.conf 添加如下选项后就不会内存持续增加（这些配置摘抄自网上，未做测试，只是记录一下）
vm.dirty_ratio = 1
vm.dirty_background_ratio = 1
vm.dirty_writeback_centisecs = 2
vm.dirty_expire_centisecs = 3
vm.drop_caches = 3
vm.swappiness = 100
vm.vfs_cache_pressure = 163
vm.overcommit_memory = 2
vm.lowmem_reserve_ratio = 32 32 8
kernel.maxvnodes = 3

#下面是相关解释：
/proc/sys/vm/dirty_ratio
这个参数控制文件系统的文件系统写缓冲区的大小，单位是百分比，表示系统内存的百分比，表示当写缓冲使用到系统内存多少的时候，开始向磁盘写出数据。增大之会使用更多系统内存用于磁盘写缓冲，也可以极大提高系统的写性能。但是，当你需要持续、恒定的写入场合时，应该降低其数值，一般启动上缺省是 10。设1加速程序速率

/proc/sys/vm/dirty_background_ratio
这个参数控制文件系统的pdflush进程，在何时刷新磁盘。单位是百分比，表示系统内存的百分比，意思是当写缓冲使用到系统内存多少的时候，pdflush开始向磁盘写出数据。增大之会使用更多系统内存用于磁盘写缓冲，也可以极大提高系统的写性能。但是，当你需要持续、恒定的写入场合时，应该降低其数值，一般启动上缺省是 5

/proc/sys/vm/dirty_writeback_centisecs
这个参数控制内核的脏数据刷新进程pdflush的运行间隔。单位是 1/100 秒。缺省数值是500，也就是 5 秒。如果你的系统是持续地写入动作，那么实际上还是降低这个数值比较好，这样可以把尖峰的写操作削平成多次写操

 

/proc/sys/vm/dirty_expire_centisecs

这个参数声明Linux内核写缓冲区里面的数据多“旧”了之后，pdflush进程就开始考虑写到磁盘中去。单位是 1/100秒。缺省是 30000，也就是 30秒的数据就算旧了，将会刷新磁盘。对于特别重载的写操作来说，这个值适当缩小也是好的，但也不能缩小太多，因为缩小太多也会导致IO提高太快。建议设置为 1500，也就是15秒算旧。

/proc/sys/vm/drop_caches
释放已经使用的cache

/proc/sys/vm/page-cluster
该文件表示在写一次到swap区的时候写入的页面数量，0表示1页，1表示2页，2表示4页。

/proc/sys/vm/swapiness
该文件表示系统进行交换行为的程度，数值（0-100）越高，越可能发生磁盘交换。

/proc/sys/vm/vfs_cache_pressure

该文件表示内核回收用于directory和inode cache内存的倾向