linux的大页内存技术开启后有啥负面影响

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux的大页内存技术开启后有啥负面影响相关的知识,希望对你有一定的参考价值。

参考技术A linux会把空闲内存预先格式化,可以迅速提供给需要的进程,切忌用win的内存管理方式来理解linux。

Linux透明大页(Transparent Huge Pages)对ES性能对影响

上周对ES集群进行扩容,运维同学找了几台物理机部署data node,结果发现新的data node比以前的data node性能差很多。同样的data node配置,同样的查询量,测试结果:CPU低,load非常高,diskIO打满。

最后通过对比系统配置,发现区别是新加入的物理机以前是跑MongoDB的,按官方建议关闭了透明大页(THP),而老机器的透明大页是开启的,遂把THP enable、重启。果然data node性能恢复正常。以前读到的ES相关文档中似乎没有涉及到THP的,不过在对THP有一定了解之后,就能够弄明白为什么开启THP会有助于提升data node性能了。

透明大页顾名思义就是把大页透明化,“透明”很好理解,我们在软件设计中经常涉及到组件“透明化”,方便调用方使用。透明大页就是对“标准大页”的优化:方便使用和管理。所以,只要搞明白什么是标准大页基本就够了。

操作系统内存管理上每个页是4kb,这是在计算机技术发展的初期定下来的,当时计算机的内存都比较小,到了今天,服务器内存动辄几十G上百G,服务进程使用的内存也普遍几G几十G,在某些场景中每页4kb的不足就逐渐体现出来了。比如程序使用2M的内存,每个页面4kb则需要512个页面,同时TLB(快表,就是所谓的高级缓存)中有512项。当需要加载到内存时,会产生512次缺页中断,当查询的时候页容易出现TLB Miss。如果每页是2M,则只需要1次缺页中断以及更高的cache命中率,从而使用大页相应的增大了内存的使用率。

不过也不是所有场景都适合开启THP,MongoDB,Redis,OracleDB等数据库方面的应用明确表明需要disable THP,因与本文无关不再展开。

再回来说说为什么ES对THP那么敏感。ES---准确的说是lucene---非常依赖内存,lucene用到内存的地方很多:Field Data, Term Dictionary,Posting List... ES官方也明确建议把机器一半的内存留给Lucene。我们知道程序使用的是内存虚拟地址,虚拟内存在转换成物理内存的时候需要查页表,也需要查页表的缓存TLB,这时就跟THP扯上关系了,开启THP,单页size大,需要的页面个数就少,从而就减少了缺页中断,并提高了TLB命中率。这样就能少查磁盘,降低磁盘IO,降低server load,从而提升ES查询性能。

 

以上是关于linux的大页内存技术开启后有啥负面影响的主要内容,如果未能解决你的问题,请参考以下文章

Linux 大页内存 Huge Pages 虚拟内存

Linux大页内存管理等---菜鸟初学

如何在多写入器情况下对文件支持的共享内存中的大页进行故障排除

kvm 优化特性:ksm技术,大页内存等

Oracle关于内存参数及大页设置的相关概念和设置之Limits概念和配置

5. 跟踪标记 (Trace Flag) 834, 845 对内存页行为的影响