如何针对远程 HBase 运行 YCSB

Posted

技术标签:

【中文标题】如何针对远程 HBase 运行 YCSB【英文标题】:How to run YCSB against remote HBase 【发布时间】:2016-12-22 21:33:18 【问题描述】:

我有一个运行 Hadoop-2.5.2 和 HBase-1.2.3(都是完全分布式的)的 1+2 集群,运行时完全没有问题(已验证)。我下载并构建了最新版本的 YCSB (0.13.0) 以针对 HBase 运行它!我还制作了带有“family”列的“usertable”表。

    [第一种情况]我使用以下命令从 Hadoop-HBase-master-VM 运行 YCSB:./bin/ycsb load hbase10 -P workloads/workloada -p columnfamily=family,一切正常。 但我想要的是,[第二种情况] 是拥有另一个专门运行 YCSB 的 VM(一个 ycsb-client-VM)。但是,当我尝试从另一个 VM 运行 YCSB 时,我无法成功运行上述命令。我尝试了很多方法(我已经在 hbase10-binding 中创建了 /conf 目录并将 hbase-site.xml 存储在其中),每次都会得到一个不同的错误,如果我提到所有这些,这将使帖子变得巨大在这里。

是否有人从与 HBase 运行的服务器不同的服务器上针对 HBase 运行 YCSB? (我将其描述为上面的“第二种情况”)

有没有关于如何从专用 ycsb-client-vm 运行 YCSB 的教程? (当然我已经阅读了 YCSB-github 上的所有内容)。

请不要给我关于如何在 HBase(master) 运行的同一 VM 中运行 YCSB 的建议!

【问题讨论】:

【参考方案1】:

幸运的是,我通过将相同的问题作为问题发布到官方 YCSB-github-repo 获得了答案: https://github.com/brianfrankcooper/YCSB/issues/886

【讨论】:

以上是关于如何针对远程 HBase 运行 YCSB的主要内容,如果未能解决你的问题,请参考以下文章

使用maven编译ycsb

ycsb对hbase性能测试的研究

ycsb 压测hbase 把生成数据转成图片

ycsb压测工具操作文档

在远程集群上使用 Hbase 运行 Map Reduce

YCSB项目学习