RHCA442学习笔记-Unit11内存缓存

Posted 2020-08-02 zengkefu

 

Unit 11 Memory Caches 内存缓存

 

        学习目标:

 

              A. 使用内存来改善运行慢的子系统的服务时间。

 

11.1 Strategies for using memory 内存使用策略

A.      减少内存使用者负载

a.       slab cache 分配缓存

B.      减少或延时运行慢的子系统的服务时间

a.       Filesystem metadata文件系统源数据：buffer cache(slab cache)

b.       Disk IO: page cache

c.       Interprocess communications进程间通信：shared memory共享内存

d.       Network IO: buffer cache, arp cache, connection tracking

C.      调整内存要注意的：

a.       怎么样回收页面才能避免内存的压力

b.       IO速度慢要怎么做？

1） 对于小的写入调整内存效果不是很明显

2） 对于大的数据写入使用重排序更有效。

影响磁盘IO最主要的因素是page cache.

 

                                                     

11.2  A closer look at demand paging 页面调度

       A.      只有进程要存储数据时才分配页面框给进程

a.       常驻页面是存放在主存(RAM)里面的

b.       非常驻页面是放在磁盘上面或者没在使用的。

                   B．允许内存过量使用系统内存

                          a. 对科学计算应用方面很有帮助。

                          b. 有利于执行程序与内存的地址参照

                         c. 当进程存储数据时不会用到Memory(RAM+swap).

     

 

11.3 Tuning page allocation 页面分配

A.      参数设置

vm.min_free_kbytes 内存最小保留空间

B.      运用

应用程序会不定期分配和使用大内存块。

C.      结论：

a.       减少页面调度的服务时间

b.       内存最小保留空间不能被其它程序使用。

c.       内存最小保留空间过大的话会给ZONE_NORMAL造成压力。

 

 

11.4 Tuning overcommit 调整overcommit

A.      参数设置

vm.overcommit_memory:

a. 0=henuristic overcommit   默认值，程序运行时如内存不够分配则拒绝并报警。

b. 1=always overcommit     应用程序要多少就分配多少，不管内存够不够。

 

c. 2=commit all swap plus a percentage of RAM (may be >100)

vm.overcommit_ratio 默认值为50, swp+RAM*50%

B.      在/proc/meminfo里查看committed_AS

作用：评估在当系统负载下需要多少内存以避免内存溢出。

C.      结论:

a.       允许内核满足对大虚拟地址空间的请求

b.       警告：当内存溢出或内存过量使用时进程会崩溃。

 

 

11.5 Slab cache 缓存分配

A.        slab用来存放内核当中的表对象。

a.       频繁申请分配页面的对象减少负担（slab缓存之）

b.       例如：filesystem metadata(dentry and inode caches)

B.        监视:

cat /proc/slabinfo

slabtop

vmstat –m

 

下面命令查看内核是否支持slab:

grep CONFIG_SLAB /boot/config-*

 

 

11.6 ARP cache   ARP缓存表

     A. ARP表是用来映射硬件地址与协议地址的（MAC----IP）

         a. ARP表缓存在slab里面( grep arp /proc/slabinfo)

         b. 垃圾过滤器会定时删除表里旧的或过期的表项。

     B．ARP缓存不足的话会导致：

         a. 主机间通讯间歇性延时。

         b. ARP表不稳定.

     C. ARP缓存太大会给ZONE_NORMAL造成压力。

     D. 查看ARP表项:

         ip neighbor list

         cat /proc/net/arp

     E. 清空ARP表

          Ip neighbor flush dev eth0

 

 

11.7 Tuning ARP cache    ARP缓存调整

     A. Soft upper limit软限制

         net.ipv4.neigh.default.gc_thresh2 默认值512(条) :arp表项条数

          达到这个值后过5秒钟才清除

B. Hard upper limit 硬限制  

net.ipv4.neigh.default.gc_thresh3 默认值1024

C.        表项垃圾清除间隔时间(秒)

net.ipv4.neigh.default.gc_interval 默认值30秒

 

注：达到限制值128后每30秒清除一次ARP表

 

 

11.8 Page cache 页面缓存

A.      大部份页面活动都是由于I/O操作产生的。

a. 读文件：文件从磁盘读到内存

b. 读进来的这些数据页面都放在页面缓存里面

            B. 页面缓存总是会去检查IO请求情况

                a. 目录读取

                b. 常规文件读写

                c. 块设备文件读写

                d. 访问内存映射文件

                e. 访问swap 页面。

            C. 页面缓存里面的页存放的都是跟file data 有关的数据.

 

 

11.9 Tuning page cache 页面缓存调整

A.      查看分配给页面缓存使用的地址大小 /proc/meminfo

B.      调整page cache在内存中分配的长度/大小

     vm.lowmem_reserve_ratio   分配给page cache 的大小

     vm.vfs_cache_pressure      虚拟内存回收director和inode缓冲的倾向,越大越易回收。

C.      调整到达率/完成率

vm.page-cluster 默认值3，2^3 单位：pages ,必须是2^n,与内存一次交换多少页。

vm.zone_reclaim_mode 页面回收

 

        

11.10          Anonymous pages 匿名页

A.      匿名页里存放的是其它进程的消耗性的数据

B.      存放的数据跟文件无关，但包括：

a. 程序数据—阵列，堆地址等等

b. 匿名内存范围

c. 脏页

d. 进程间通讯的共享内存范围

            C. 查看使用量

               grep Anon /proc/meminfo

               cat /pro/PID/statm

D.     匿名页可以与swap交换数据.

Anonymous pages = RSS – Shared

 

 

11.11          SysV IPC 进程间通讯

A.      以下情况比较消耗内存

a.       Semaphores 信号量 :协调进程间对共享资源的抢占

b.       Message queues 消息队列:进程间交换信息

c.       Share memory 共享内存：进程间所要访问的数据在内存当中的同一地方s

B.      查看SysV共享内存

ipcs     查看当前正在使用的情况

ipcs –l    查看共享内存的限制情况

C.      使用POSIX共享内存文件系统做一个最快的存储

dd if=/dev/zero 0f=/dev/shm/test bs=1M count=50

共享内存文件系统路径：/dev/shm 可以读写数据但重启后数据丢失。

 

 

11.12 Tuning SysV IPC 进程间通讯性能调整

A.        设置信号量数量(flags)

Kernel.sem

每个信号量集合的最大信号量数，默认为250,

整个系统所允许的最大信号量数，默认为32000,

每次IPC调用影响的信号量的最大数，默认为32,

信号量集合的最大数，默认为128。

注：运行高并发应用程序时（如：数据库），将系统的最大信号量数调大，以减少进程间对信号量的争抢

B.        消息数量与大小（non-pageable）

Kernel.msgmni=16，最大消息队列数，默认16

Kernel.msgmnb=16384,单个消息队列的最大字节数,默认16384,

Kernel.msgmax=8192,最大消息长度（整个消息块大小）。默认8192，

注：适用于少量数据交换

             C．共享内存大小与数量

                Kernel.shmni=4096,系统范围内共享内存段的最大数量，默认4096，

                Kernel.shmmax每个共享内存段的最大尺寸（单位:字节）。。

                Kernel.shmall=2097152,共享内存页面数（系统一次可以共享内存的总量，单位：页,SHMMAX/PAGE_SIZE），默认2097152                  

 注：适用于海量数据交换（如：oracle数据库）

 

 

11.13 Viewing memory with free 查看内存释放情况

A.      用free -ltm 命令查看内存使用的总体情况

B.      计算/buffers/cache 单位（MiB）

used=used – bufers – cached

free= free + buffers + cached

 

grep –i memory /var/log/dmesg

grep e820 /var/log/dmesg

 

 

11.14          Other commands to view memory usage 查看内存使情况其它命令

A.      查看系统内存

cat /proc/meminfo

cat /proc/zoneinfo

a.       总的物理内存

b.       内存缓存大小

c.       正在使用的与未使用的

B.      pages tables 页表

cat /proc/vmstat

C.      Summary 汇总

vmstat –s

D.     IO devices IO设备

cat /proc/iomem