ycsb对hbase性能测试的研究

Posted 2020-09-03

ycsb对hbase性能测试

1、ycsb安装

下载ycsb软件

wget https://github.com/downloads/brianfrankcooper/YCSB/ycsb-0.1.4.tar.gz

解压ycsb软件

tar xf  ycsb-0.1.4.tar.gz

cd ycsb-0.1.4

配置

将hbase下的jar包放到ycsb中

cp /usr/hdp/2.2.9.0-3393/hbase/lib/* /usr/tmp/ycsb-0.1.4/hbase-binding/lib/

将hbase下hbase-site.xml 拷贝到ycsb的conf中

cp /usr/hdp/2.2.9.0-3393/hbase/conf/hbase-site.xml /usr/tmp/ycsb-0.1.4/hbase-binding/conf/

有可能会报错

因为缺少hadoop-common.jar ,可以使用find / -name hadoop-common*jar来进行jar包查找。

出现错误：java.io.IOException: No FileSystem for scheme: hdfs

 

在ycsb下的conf中的hbase-site.xml中添加即可
<property>
   <name>fs.file.impl</name>
   <value>org.apache.hadoop.fs.LocalFileSystem</value>
   <description>The FileSystem for file: uris.</description>
</property>
<property>
   <name>fs.hdfs.impl</name>
   <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
   <description>The FileSystem for hdfs: uris.</description>
</property>
最后再执行数据加载命令，也就能成功的加载数据了！
./ycsb load hbase -P ../workloads/workloada -p threads=10 -p columnfamily=f1 -p recordcount=10000 -s > load.dat
初次接触，研究到这里，有什么不对的地方还请多指教，后续会继续用ycsb研究相关hbase性能调优！