Hive 性能测试工具 hive-testbench

Posted cyanrose

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive 性能测试工具 hive-testbench相关的知识,希望对你有一定的参考价值。

下载:

yum -y install gcc gcc-c++ maven

下载地址Github:https://github.com/hortonworks/hive-testbench/

git clone https://github.com/hortonworks/hive-testbench/

编译:

有两种数据

  • TPC-DS:提供一个公平和诚实的业务和数据模型,99个案例。
  • TPC-H:面向商品零售业的决策支持系统测试基准,定义了8张表,22个查询。

./tpcds-build.sh   编译TPC-DS

./tpch-build.sh    编译TPC-H

出现“BUILD FAILURE” 说明编译成功

生成数据(tpcds):

./tpcds-build.sh 100  生成100G数据

执行完成后,查看hive

技术图片

 数据生成已导入。

测试:

cd  sample-queries-tpcds/

hive> use tpcds_bin_partitioned_orc_100;

hive>source query1.sql;

查看执行结果。 

 

 

以上是关于Hive 性能测试工具 hive-testbench的主要内容,如果未能解决你的问题,请参考以下文章

Hive On Hbase VS Hive On Hdfs 性能对比测试

HAWQ与Hive查询性能对比测试

Hive架构原理和性能优化

Hive性能优化之表设计优化

Impala,Presto和Hive在MR3上的性能评估

Hive性能优化之表数据优化