Hive的安装部署全过程详细版

Posted s1023

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive的安装部署全过程详细版相关的知识,希望对你有一定的参考价值。

首先先简单介绍下hive:

Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射成一张数据表,并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。

核心架构:

 技术图片

 

 

 

Hive官网地址

 

http://hive.apache.org/

下载地址

 

 

http://archive.apache.org/dist/hive/

 

hive的安装部署

Hive常用的安装分三种

(注意:Hive会自动监测Hadoop的环境变量,所以在安装hive之前就必须启动Hadoop,如未安装hadoop,请移步看本人的另一篇博客

地址:https://www.cnblogs.com/s1023/p/12439518.html

第一种:本地模式(多用户模式)

使用hive自带默认元数据库derby来进行存储,通常用于测试

a.优点:使用简单,不用进行配置

b.缺点:只支持单session

安装步骤:

首先将下载好的hive安装包上传到linux上

1、解压hive,并配置环境变量

 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

 vi /etc/profile

 source /etc/profile

export HIVE_HOME=/opt/app/hive
export PATH=$HIVE_HOME/bin:$PATH

2、配置hive-env.sh,如果不存在,就用hive.env.sh.template复制一个

export HIVE_CONF_DIR=/opt/app/hive/conf
export JAVA_HOME=/opt/app/jdk
export HADOOP_HOME=/opt/app/hadoop

3、启动hive:(注:启动之前要启动hdfs  sbin/start-dfs.sh 和yarn  sbin/start-yarn.sh )

bin/hive

进入后可以执行下面命令进行操作

show dataases;  #查看数据库
show tables;   #查看表

简单sql演示执行

# 创建表
create table dog(id int,name string);
select * from dog;
insert into dog values(1,"wangcai");
desc dog; #查看表结构
quit # 退出

配置安装mysql

安装包准备

#查看mysql是否安装,如果安装了,卸载mysql
 rpm -qa|grep mysql  #如果出现下面的提示,就说明系统已经有了mysql,要卸载
mysql-libs-5.1.73-7.el6.x86_64
# 卸载mysql
rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
安装MySql服务器

==mysql安装的步骤介绍==

1.安装mysql服务端(先从本地上传服务端和客户端到服务器,尽量使用root用户操作)

rpm -ivh MySQL-server-5.6.rpm

#注意:如果是mini版本安装,提前要安装下面一个依赖库:
yum install libaio

2.查看产生的随机密码

 cat /root/.mysql_secret

3.查看mysql状态

service mysql status

4.启动mysql

service mysql start

安装MySql客户端

1.安装mysql客户端

rpm -ivh MySQL-client-5.6.rpm

2.链接mysql

命令格式:mysql -u用户名 -p密码

mysql -uroot -pabcdefafd
注意:
abcdefafd为安装mysql服务端时第2部查看产生的随机密码,直接复制即可

3.修改密码

mysql>SET PASSWORD=PASSWORD(123123);

 

第二种模式:远程模式1

将元数据库放在该台机器上)(多用户模式)

通常使用关系型数据库来进行元数据存储(mysql、oracle等执行带jdbc驱动的数据库)

  • 优点:支持多session
  • 缺点:需要配置、还需要安装mysql等关系型数据库(已安装好)

步骤:

–           1、解压并配置环境变量

–           2、配置hive的配置文件

–           cp hive-env.sh.template hive-env.sh vi hive-env.sh(可以配置jdk、hive的conf路径)

–           3、在Hive的conf配置hive的自定义配置文件 vi hive-site.xml:如下:

<configuration>
<!--配置mysql的连接字符串-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<!--配置mysql的连接驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<!--配置登录mysql的用户-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<!--配置登录mysql的密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123123</value>
<description>password to use against metastore database</description>
</property>
</configuration>

4、将mysql的驱动包mysql-connector-java-5.1.27-bin.jar上传到$HIVE_HOME/lib下(==注意:驱动是jar结尾,不是tar结尾==)

5、启动hive

第三种模式:远程模式2

(将元数据库放在其他机器上)(多用户模式)

和1差不多,只是将元数据放在别的服务器上,这种的就是咱们常说的集群模式。
可以有一个hive的server和多个hive的client。

 

 

以上是关于Hive的安装部署全过程详细版的主要内容,如果未能解决你的问题,请参考以下文章

Hive全网最详细的编译及部署

hive+postgres安装部署过程

基于jenkins+docker+git 持续化自动部署项目(详细版一));

zookeeper-kafka(集群版)安装部署以及java调用工具类

2Hive安装详细教程

Hive部署及优化配置