HAWQ与Hive查询性能对比测试

Posted wzy0623

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了HAWQ与Hive查询性能对比测试相关的知识，希望对你有一定的参考价值。

一、实验目的

        本实验通过模拟一个典型的应用场景和实际数据量，测试并对比HAWQ内部表、外部表与Hive的查询性能。

二、硬件环境

1. 四台VMware虚机组成的Hadoop集群。
2. 每台机器配置如下：
（1）15K RPM SAS 100GB
（2）Intel(R) Xeon(R) E5-2620 v2 @ 2.10GHz，双核双CPU
（3）8G内存，8GSwap
（4）10000Mb/s虚拟网卡

三、软件环境

1. Linux：CentOS release 6.4，核心2.6.32-358.el6.x86_64
2. Ambari：2.4.1
3. Hadoop：HDP 2.5.0
4. Hive（Hive on Tez）：2.1.0
5. HAWQ：2.1.1.0
6. HAWQ PXF：3.1.1

四、数据模型

1. 表结构

        实验模拟一个记录页面点击数据的应用场景。数据模型中包含日期、页面、浏览器、引用、状态5个维度表，1个页面点击事实表。表结构和关系如图1所示。