用HAWQ轻松取代传统数据仓库 —— 安装部署

Posted wzy0623

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了用HAWQ轻松取代传统数据仓库 —— 安装部署相关的知识，希望对你有一定的参考价值。

一、安装规划
1. 选择安装介质
        HAWQ的安装介质有两种选择，一是下载源码手工编译，二是使用Pivotal公司提供的HDB安装包。源码的下载地址为 http://apache.org/dyn/closer.cgi/incubator/hawq/2.0.0.0-incubating/apache-hawq-src-2.0.0.0-incubating.tar.gz，目前最新版本是2.0.0。源码编译和安装Apache官方文档地址为 https://cwiki.apache.org/confluence/display/HAWQ/Build+and+Install。
        建议初学者不要使用源码编译方式，这种方法需要的依赖包很多，对操作系统、Hadoop的版本、安装与配置也提出较高的要求。我曾尝试在已有的CDH 5.7集群上源码编译安装HAWQ 2.0.0，过程可谓步履维艰，一步一坎，最终还是放弃了这个失败的安装方案。如果想挑战一下自己的心理承受能力或技术水平的同学，不妨尝试这种方式。网上也有一些详细的资料可供参考，如“ Apache HAWQ集群的安装部署”和“ HAWQ手动安装”。我推荐的方式是使用HDB介质，主要原因是过程相对简单，安装成功率高。

2. 选择HAWQ版本
        目前Pivotal提供的最新版本是HDB 2.1.1，该版本最主要的变化是包含了对ORC文件格式的一些支持（Beta版），包含所有Apache HAWQ孵化项目的功能特性，并修复了一些Apache HAWQ的bug。
        在选择HDB版本时，需要考虑它与所支持操作系统、Hadoop平台和安装工具Ambari的版本之间的匹配关系。表1显示了最新的Pivotal HDB 2.1.1版本的产品支持。完整的产品支持矩阵参考 http://hdb.docs.pivotal.io/211/hdb/releasenotes/HAWQ211ReleaseNotes.html#topic_g53_tgv_2v。

Pivotal HDB版本

PXF版本

HDP (Pivotal HDP and Hortonworks HDP)版本

Ambari版本

HAWQ Ambari Plug-inban版本

MADlib版本

RHEL/CentOS版本

SuSE版本

2.1.1.0

3.1.1

2.5

2.4.1

2.1.1

1.9, 1.9.1

6.4+ (64-bit)

n/a

表1 HDB 2.1.1产品支持

        注意：
  • 不支持RHEL/CentOS 7。
  • Hadoop仅支持Hortonworks Data Platform（HDP）和Pivotal HDP两种发行版本。
        本次安装选择最新版Pivotal HDB 2.1.1。

3. 确认Ambari与HDP的版本兼容性
        安装HDB 之前首先需要安装Ambari和Hortonworks Data Platform（HDP）。从表1看到Ambari的版本是2.4.1，HDP的版本是2.5，再次从hortonworks官方的安装文档中确认版本兼容性，兼容矩阵如图1所示。