HBase调优 | HBase 性能调优之内存篇

Posted 格格巫 MMQ!!

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HBase调优 | HBase 性能调优之内存篇相关的知识,希望对你有一定的参考价值。

这是使用 HBase 最不可避免的一个话题,就是 HBase 的性能调优,而且通常建立在我们对 HBase 内部运行机制比较了解的基础上进行的,因此无论怎么说,调优这块都是一个相对复杂的事情。这一篇我们先来介绍与 HBase 内存最相关的调优内容。

  1. 合理配置 JVM 内存
    这里首先涉及 HBase 服务的堆内存设置。一般刚部署的 HBase 集群,默认配置只给 Master 和 RegionServer 分配了 1G 的内存,RegionServer 中 MemStore 默认占 0.4 即 400MB 左右的空间,而一个 MemStore 刷写阈值默认 128M,所以一个 RegionServer 也就能正常管理 3 个Region,多了就可能会产生小文件了,另外也容易发生 Full GC。因此建议合理调整 Master 和 RegionServer 的内存,比如:

export HBASE_MASTER_OPTS=“ H B A S E M A S T E R O

以上是关于HBase调优 | HBase 性能调优之内存篇的主要内容,如果未能解决你的问题,请参考以下文章

大数据性能调优之HBase的RowKey设计

大数据性能调优之HBase的RowKey设计

hbase性能调优

关于Linux性能调优之内存负载调优

关于Linux性能调优之内存负载调优

eclipse 性能调优之内存分配