Linux透明大页(Transparent Huge Pages)对ES性能对影响

Posted 2020-11-27 软件心理学工程师

上周对ES集群进行扩容，运维同学找了几台物理机部署data node，结果发现新的data node比以前的data node性能差很多。同样的data node配置，同样的查询量，测试结果：CPU低，load非常高，diskIO打满。

最后通过对比系统配置，发现区别是新加入的物理机以前是跑MongoDB的，按官方建议关闭了透明大页(THP)，而老机器的透明大页是开启的，遂把THP enable、重启。果然data node性能恢复正常。以前读到的ES相关文档中似乎没有涉及到THP的，不过在对THP有一定了解之后，就能够弄明白为什么开启THP会有助于提升data node性能了。

透明大页顾名思义就是把大页透明化，“透明”很好理解，我们在软件设计中经常涉及到组件“透明化”，方便调用方使用。透明大页就是对“标准大页”的优化：方便使用和管理。所以，只要搞明白什么是标准大页基本就够了。

操作系统内存管理上每个页是4kb，这是在计算机技术发展的初期定下来的，当时计算机的内存都比较小，到了今天，服务器内存动辄几十G上百G，服务进程使用的内存也普遍几G几十G，在某些场景中每页4kb的不足就逐渐体现出来了。比如程序使用2M的内存，每个页面4kb则需要512个页面，同时TLB(快表，就是所谓的高级缓存)中有512项。当需要加载到内存时，会产生512次缺页中断，当查询的时候页容易出现TLB Miss。如果每页是2M，则只需要1次缺页中断以及更高的cache命中率，从而使用大页相应的增大了内存的使用率。

不过也不是所有场景都适合开启THP，MongoDB，Redis，OracleDB等数据库方面的应用明确表明需要disable THP，因与本文无关不再展开。

再回来说说为什么ES对THP那么敏感。ES---准确的说是lucene---非常依赖内存，lucene用到内存的地方很多:Field Data, Term Dictionary，Posting List... ES官方也明确建议把机器一半的内存留给Lucene。我们知道程序使用的是内存虚拟地址，虚拟内存在转换成物理内存的时候需要查页表，也需要查页表的缓存TLB，这时就跟THP扯上关系了，开启THP，单页size大，需要的页面个数就少，从而就减少了缺页中断，并提高了TLB命中率。这样就能少查磁盘，降低磁盘IO，降低server load，从而提升ES查询性能。