公司HBase基准性能测试之准备篇
Posted 安大叔
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了公司HBase基准性能测试之准备篇相关的知识，希望对你有一定的参考价值。
本次测试主要评估线上HBase的整体性能，量化当前HBase的性能指标，对各种场景下HBase性能表现进行评估，为业务应用提供参考。
测试环境
测试环境包括测试过程中HBase集群的拓扑结构、以及需要用到的硬件和软件资源，硬件资源包括：测试机器配置、网络状态等等，软件资源包括操作系统、HBase相关软件以及测试工具等。
集群拓扑结构
本次测试中，测试环境总共包含4台SA5212H2物理机作为数据存储。生成数据的YCSB程序与数据库并不运行在相同的物理集群。
单台机器主机硬件配置
软件版本信息
测试工具
YCSB全称Yahoo! Cloud Serving Benchmark，是Yahoo公司开发的专门用于NoSQL测试的基准测试工具。github地址：https://github.com/brianfrankcooper/YCSB YCSB支持各种不同的数据分布方式
1. Uniform：等概论随机选择记录
2. Zipfian：随机选择记录，存在热记录
3. Latest：近期写入的记录为热记录
测试场景
YCSB为HBase提供了多种场景下的测试，本次测试中，我们导入10亿条数据，并对如下场景进行测试:
YCSB并没有提供Increment相关的测试功能，但是部分业务有这方面的需求，因此对YCBS进行了改造，加入了Increment模块。需要注意的是，在测试Increment性能前需要导入1亿条数字进行测试。写入和查询的数据模拟目前线上记录的长度，具有以下特性：
HBase相关重要配置
hfile.block.cache.size：0.2
hbase.regionserver.global.memstore.upperLimit：0.45
jvm：-Xms48g -Xmx48g -Xmn4g -Xss256k -XX:PermSize=256m -XX:MaxPermSize=256m
jvm参数表示每台机器会分配48G内存作为Java的堆内存使用，hfile.block.cache.size参数表示HBase会为每台Region Server分配大小为9.6G（48 * 0.2）的内存作为读缓存使用。hbase.regionserver.global.memstore.upperLimit参数表示HBase会为每台Region Server最多分配大小为21.6G（48 * 0.45）的内存作为写缓存使用。
测试方法
上述测试场景中部分测试（插入测试、scan扫描查询等）对客户端带宽资源要求很高，单个客户端测试会因为客户端带宽耗尽而导致无法测出实际服务器集群读写性能，因此我们开启6个YCBS客户端并发进行测试，最终Throughput是6个客户端的总和，AverageLatency取6个客户端延迟的平均值。
单个YCSB测试都遵守标准测试流程，基本流程如下：
1. 在6个客户端服务器部署YCSB程序，向集群中load 10亿条数据
2. 按照预先定义的场景修改负载文件workload
3. 使用ycsb run方法执行测试，向集群写入读取数据
4. 进行数据操作时通过YCSB记录产生的统计数据，主要是吞吐量和平均延迟两个指标
5. 根据结果生成对应的图标
6. 针对不同场景，重复上述测试步骤
本文章为作者原创
以上是关于公司HBase基准性能测试之准备篇的主要内容，如果未能解决你的问题，请参考以下文章