Hive简介及源码编译

Posted 2020-11-10

Hive简介：

• Hive是一个基于Hadoop的数据仓库，可以将结构化数据映射成一张表，并提供类SQL的功能，最初由Facebook提供，使用HQL作为查询接口、HDFS作为存储底层、MapReduce作为执行层，设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据，2008年facebook把Hive项目贡献给Apache。Hive提供了比较完整的SQL功能（本质是将SQL转换为MapReduce），自身最大的缺点就是执行速度慢。Hive有自身的元数据结构描述，可以使用mysqlProstgreSqloracle 等关系型数据库来进行存储，但请注意Hive中的所有数据都存储在HDFS中。Hive具有比较好的灵活性和扩展性，支持UDF，自定义存储格式，适合离线数据处理。

Hive体系架构：

• 1.用户接口：包括 CLI, Client, WUI。其中最常用的是 CLI，CLI为shell命令行，Cli 启动的时候，会同时启动一个 Hive 副本。Client 是 Hive 的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出 Hive Server 所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。
  2.元数据存储：通常是存储在关系数据库如 mysql, derby 中
  3.解释器、编译器、优化器、执行器：完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有MapReduce 调用执行。
  4.Hadoop：Hive中数据用 HDFS 进行存储，利用 MapReduce 进行计算。

Hive源码编译：

我们选取CDH版本进行编译，以hive-1.1.0-cdh5.7.0版本为例。
前期准备：
1.配置jdk1.7环境。
2.安装maven。
3.安装hadoop-2.6.0-cdh5.7.0环境(版本号与hive要对应)。
注：前期我使用的是Apache 2.8版本的hadoop，目前已经更改为CDH版本

1.下载并解压源码包hive-1.1.0-cdh5.7.0-src.tar.gz

# 下载地址: http://archive.cloudera.com/cdh5/cdh/5/
[[email protected] ~]# su - hadoop
[[email protected] ~]$ cd source
[[email protected] source]$ wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz
[[email protected] source]$ tar -xzvf hive-1.1.0-cdh5.7.0-src.tar.gz

2.编译

[[email protected] source]$ cd hive-1.1.0-cdh5.7.0
# 需等待一段时间
[[email protected] hive-1.1.0-cdh5.7.0]$ mvn -Phadoop-2 -Pdist -DskipTests -Dmaven.javadoc.skip=true clean package
...
...
[INFO] Hive ODBC .......................................... SUCCESS [  5.811 s]
[INFO] Hive Shims Aggregator .............................. SUCCESS [  0.755 s]
[INFO] Hive TestUtils ..................................... SUCCESS [  1.294 s]
[INFO] Hive Packaging ..................................... SUCCESS [01:41 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 18:22 min
[INFO] Finished at: 2018-06-02T11:37:54+08:00
[INFO] Final Memory: 144M/494M
[INFO] ------------------------------------------------------------------------

# 编译成功 会在源码目录下面的packaging/target目录下面生成一个tar包，相关的hive模块jar包都能在这个tar包里面找到。
文件名称：apache-hive-1.1.0-cdh5.7.0-bin.tar.gz
# 可使用此包来安装Hive，也可在此网站http://archive.cloudera.com/cdh5/cdh/5/ 直接下载相应版本已编译的安装包。