kvm 优化特性：ksm技术，大页内存等

Posted 2020-08-23

参考：

    http://tech.it168.com/a2016/1101/3005/000003005933.shtml（ksm）

    http://www.cnblogs.com/dongzhiquan/p/5043912.html(大页内存优点)

    <kvm虚拟化技术 实战与原理解析>

简介：

    cow：copy on write，也就是写时复制。这是一种内存共享技术，在linux中当使用fork 函数创建一个进程时，子进程和父进程共享全部的内存，当这片共享的内存区域被进程试图修改的时候，内核会分配一块新的内存区域，并将被试图修改的共享内存区域复制到新的内存区域上，然后再让进程去修改内存区域。

    ksm：kernel SamePage Merging。 ksm让内核扫描正在运行中的所有程序，并比较它们的内存，如果发现它们的内存页有相同的，那么就把它们相同的内存页合并为一个内存页，并将其标识为“写时复制”，当标识为“写时复制”的内存页需要被修改时，内核就为其分配新的内存空间，并复制内存页到新的空间，在新的内存空间上进行修改。

    ksm设计初衷就是为了给虚拟化节约内存的，因为如果客户机都使用相同的系统和运行类似的程序，那么每个客户机进程就会有很大一部分的内存页是相同的，这时候使用ksm技术就能大大降低内存的使用率。也方便kvm内存的过载使用，传说有人在16G内存的机器上，成功运行52个1G内存的xp客户机。

    所以ksm的优点显而易见，但是它的缺点也是很明显的。ksm需要扫描相同的内存页，这就带来了开销，而且ksm自身也需要占用内存，当机器运行的程序没有什么耦合度的话，那么ksm不见得能提升内存效率。而且使用ksm还需要保证足够的内存交换空间，因为我们把多个内存页合并为一个，当内存耗尽，而恰好有内存页需要修改时，此时内存就溢出了，所以需要swap交换空间过渡下。

ksm的使用：

    内核的ksm守护进程时ksmd，我们可以通过修改/sys/kernel/mm/ksm/下的ksmd参数来对其进行配置，它的参数有如下几种（参考https://www.kernel.org/doc/Documentation/vm/ksm.txt）：

        full_scans：对可合并的内存区域扫描过的次数

        pages_shared：记录合并后共有多少内存页

        pages_sharing：记录有多少内存页正在使用被合并的共享页，不包括合并的内存页本身

        pages_to_scan：ksmd进程休眠前扫描的内存页个数，（我的理解是一次扫描的内存页个数）

        pages_unshared：因为没有重复内容而不能被合并的内存页数量

        pages_volatile：因为内容很容易变化而不能被合并的内存页数量

        run：是否开启ksm

            0：表示停止ksmd但保持它已经合并的内存页

            1：运行ksmd

            2：停止ksmd并分离已合并的内存页

        sleep_millisecs：ksmd休眠的时间，也就是是两次运行的间隔

    虽然参数有这么多，但是我们可以操作的只有run、sleep_millisecs、pages_to_scan，使用也很简单：

        echo “$num" >/sys/kernel/mm/ksm/PARAMATER

     当然，手动操作很蛋疼，redhat在qemu-kvm的rpm包，整合了ksm 和ksmtuned两个管理工具（在/etc/init.d下的脚本）

        ksm：操作ksmd的功能，也就是利用这个脚本可以echo “$num" >/sys/kernel/mm/ksm/PARAMATER

        ksmtuned：可以智能地判断什么时候该开启ksmd什么时候该关闭并调节ksmd参数的程序，其配置文件为/etc/ksmtuned.conf

pages_shared和page_sharing的区别：

    我的理解是这样的，假设进程A、B、C各占用3个内存页，而且他们所占用的内存页都可以合并，那么page_shared=3而page_sharing=6  也就是实际节约的内存数量。kernel文档解释如下：

        pages_shared     - how many shared pages are being used

        pages_sharing    - how many more sites are sharing them i.e. how much saved

大页内存：

    优缺点参考http://www.cnblogs.com/dongzhiquan/p/5043912.html，因为我没太理解，这里只记录配置。

配置：

    (1)查看硬件和内核是否支持

        cat  /proc/cpuinfo |grep --color pdpe1gb #这里是1不是L，有结果就代表支持

        [[email protected] ~]# grep  -i hugetlb /boot/config-2.6.32-431.el6.x86_64 

        CONFIG_HUGETLBFS=y#两者都为y就代表支持

        CONFIG_HUGETLB_PAGE=y

    (2)修改宿主机的grub.conf，配置内核启动参数，内容如下：

        title CentOS (2.6.32-431.el6.x86_64)

        root (hd0,0)

        kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root hugepagesz=2MB hugepages=512   default_hugepagesz=2MB  intel_iommu=on rd_NO_LUKS rd_NO_MD rd_LVM_LV=VolGroup/lv_swap crashkernel=auto LANG=en rd_LVM_LV=VolGroup/lv_root  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet

        initrd /initramfs-2.6.32-431.el6.x86_64.img

    增加了hugepagesz(内存页大小）、hugepages（内存页数量）、default_hugepagesz（默认内存页大小）三个参数，必须注意的是这里的hugepagesz*hugepages不能大于物理内存大小，我这里设置了512个2MB 内存页

    (3)挂载使用hugetlbfs文件系统

    可以先查看未分配前的内存页大小：

        [[email protected] ~]# cat  /proc/meminfo |grep -i huge

        AnonHugePages:         0 kB

        HugePages_Total:     512

        HugePages_Free:      512

        HugePages_Rsvd:        0

        HugePages_Surp:        0

        Hugepagesize:       2048 kB

    挂载：

        mount -t hugetlbfs hugetlbfs /dev/hugepages

        （mount -t hugetlbfs hugetlbfs /dev/hugepages -o remount,pagesize=1GB 这条可以重新指定内存页大小，但是这里设置1G没什么用，因为1GB大页需要在启动时分配）

    安装libhugetlbfs库：（对大页的支持需要调用这个库）

        yum install libhugetlbfs libhugetlbfs-utils

        #libhugetlbfs-utils包提供一些有用的工具，比如可以用hugeadm  --pool-list查看大页内存状态

    使用：

        qemu-system-x86_64 -m 1000M  /home/kvm_vhost/redhat6.qcow2  -mem-path /dev/hugepages/

        #这里-m指定的内存大小不能大于挂载的内存页大小，否则报“file_ram_alloc: can‘t mmap RAM pages: Cannot allocate memory”错，而不能使用大页的功能

    再查看：

        [[email protected] ~]# cat  /proc/meminfo |grep -i huge

        AnonHugePages:      4096 kB

        HugePages_Total:     512

        HugePages_Free:      405

        HugePages_Rsvd:      401

        HugePages_Surp:        0

        Hugepagesize:       2048 kB

        发现使用了100多个内存页，也就是占用了200多M内存

透明大页（transparent hugepage）：

    普通大页（huge page）有以下几个缺点：

        (1)大页需要事先分配（1GB大页还只能在启动时分配）

        (2)程序代码必须显示使用大页，不使用就会造成物理内存浪费

        (3)大页必须常驻在物理内存中，不能交换到分区

        (4)需要root权限来挂载hugetlbfs文件系统

    透明大页避免了上述缺点，而又享有大页的优势。透明大页对任何程序都是透明的，程序不需要任何修改即可使用透明大页。在使用透明大页时，普通的大页仍然可以使用，只有没有普通大页可以使用时，才使用透明大页。透明大页是可以交换的，当物理内存不足需要被交换时，它被打碎成常规的4KB大小的内存页，当物理内存充裕时，常规的页分配内存可以通过khugepaged进程自动迁往透明大页。

 

   配置：

        查看内核是否支持：

            [email protected] ~]# cat /boot/config-2.6.32-431.el6.x86_64 |grep -i transparent

            CONFIG_TRANSPARENT_HUGEPAGE=y

        配置透明大页的使用方式：

            [[email protected] ~]# cat  /sys/kernel/mm/transparent_hugepage/enabled 

            [always] madvise never

            [[email protected] ~]# echo "never" >/sys/kernel/mm/transparent_hugepage/enabled

            [[email protected] ~]# cat  /sys/kernel/mm/transparent_hugepage/enabled 

            always madvise [never]

                always：表示尽可能地使用透明大页

                madvise：表示仅在“MADV_HUGEPAGE”标识的内存区域使用透明大页(预防申请了2MB大页但是只写入1B数据的情况)

                never：不使用

        查看透明大页大小：

            [[email protected] ~]# cat /proc/meminfo |grep  -i anonhuge

            AnonHugePages:      6144 kB

AVX和XSAVE：（这方面的我看不懂..只写查看是否支持和启用方法)

    查看：

        cat  /proc/cpuinfo |grep avx |grep xsave

    使用：

        就是加个 -cpu host参数：

        qemu-system-x86_64 -m 1024 -cpu host /home/kvm_vhost/redhat6.qcow2  

AES-NI：提升系统对AES加密算法的效率（AES是种对称加密算法，详情可参考我写的加密算法篇）

    有个别硬件平台需要bios的支持：

        advanced-->Processor Configuration-->AES-NI Defeature

    查看内核支持：

        [[email protected] ~]# cat  /boot/config-2.6.32-431.el6.x86_64 |grep  -i aes

        CONFIG_SND_MAESTRO3=m

        CONFIG_CRYPTO_AES=m

        CONFIG_CRYPTO_AES_X86_64=m

        CONFIG_CRYPTO_AES_NI_INTEL=m#需要这行，模块的话需要查看是否加载

        CONFIG_CRYPTO_DEV_PADLOCK_AES=m

    查看硬件支持：

        cat  /proc/cpuinfo |grep aes

    查看是否加载模块：

        lsmod |grep aesni

        modprobe aesni_intel

（我这里alias grep="grep --color"）

    使用：可以使用-cpu host 或-cpu qemu64,+aes参数

        qemu-system-x86_64 -m 1024 -cpu host /home/kvm_vhost/redhat6.qcow2  

完全暴露cpu特性：

    其实就是-cpu选项

        -cpu host：尽可能地暴露cpu特性给客户机，有些特性kvm还没支持，所以宿主机和客户机的cpu特性可能不一样

        -cpu qemu64,+aes：qemu64代表cpu模型，+aes代表aes特性，同样也可以+其他特性

    尽管暴露cpu特性能提供给客户机更好的性能，但是有些场景并不适用，比如动态迁移可能会失败等，所以要视情景而用。