围绕HugeTLB的极致优化

Posted 宋宝华

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了围绕HugeTLB的极致优化相关的知识，希望对你有一定的参考价值。

作者简介

宋牧春，字节跳动系统技术与工程团队，Linux内核工程师。

内容简介

介绍以一种创新的方式优化HugeTLB对应的struct page内存占用。

相信大家对HugeTLB在虚拟化及DPDK等场景应用并不陌生，在动不动就上百GB的服务器上，轻轻松松预留上百GB HugeTLB。相信不少云厂商也注意到HugeTLB的内存管理上存在一定的问题。既然有问题，为何upstream上迟迟看不到相关的优化patch呢？

答案很简单：问题棘手。

Linux在内存管理方面已经发展了十几年，即使某些机制不够优秀，想大改也不是简单的事情。内存管理贯彻整个Linux内核，与众多子系统交互。究竟Linux在HugeTLB的管理上存在什么问题呢？

如何管理物理内存 

 

现在Linux Kernel主要以页为单位管理内存，而页的大小默认4 KB。为了方便管理物理内存，Linux为每个页分配一个metadata结构体，即struct page结构，其大小通常64 Bytes。struct page可以简单理解成一个数组，数组的index就是PFN（物理页帧号）。我称这段区域vmemmap。

4KB页我们称之为小页，与之相反的是大页。在x86-64平台，硬件支持2 MB和1 GB大页。Linux为了方便用户使用大页，提供2种不同的机制，分别是THP (Transparent Huge Page) 和 HugeTLB。HugeTLB经常出现在我们的工程实践中，HugeTLB为我们为我们带来不错的性能提升。

但是也有一朵乌云常伴其身。虽然2 MB的HugeTLB page理论上也只需要1个struct page结构，但是，在系统启动之初，所有的物理内存均以4 KB为单位分配struct page结构。因此每个 HugeTLB page对应 512个struct page结构，占用内存32 KB（折合8个4 KB小页）。

可能你会好奇这能有多少内存。针对嵌入式系统，确实不值一提。但是别忘了，我们有动不动就2 TB物理内存的服务器。

现在我们可以简单的算一笔账了。假设在一台1 TB的服务器上，我们分配1 TB的2 MB大页（理想情况下），那么struct page本身占用的内存是多少呢？没错，是16 GB。如果有上千台，上万台，甚至上十万台机器呢？如果我们能够优化掉16 GB的内存浪费或者尽可能的降低struct page的内存占用，我们将会降低服务器平台成本。我们的目标就是尽量驱散这朵乌云。