Hive的三种安装模式简介及12步安装步骤详解

Posted 2021-04-29 互联网IT信息

1. Hive的安装模式

Hive官网上介绍了Hive的3种安装方式，分别对应不同的应用场景。

1、内嵌模式（元数据保村在内嵌的数据库derby种，允许一个会话链接，尝试多个会话链接时会报错）

2、本地模式（本地安装mysql 替代derby存储元数据）

3、远程模式（远程安装mysql 替代derby存储元数据）

2. Hive的内嵌模式

此模式连接到一个In-memory 的数据库Derby，一般用于Unit Test。架构图如下：

3. Hive的本地模式

通过网络连接到一个数据库中，是最经常使用到的模式。架构图如下：

4.Hive的远程服务器模式

远程服务器模式。用于非Java客户端访问元数据库，在服务器端启动MetaStoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库

5. Hive1.2.1内嵌模式安装

1. 基础环境确认，单机安装hive之前需要安装如下软件：

hadoop版本：2.6.4

JDK版本：1.8.0_92

http://archive.apache.org/dist/hive/

4. 当前目录下解压压缩包，命令如下：

tar -zxvf apache-hive-1.2.1-bin.tar.gz

5.配置环境变量

vi /etc/profile

export HIVE_HOME=/home/project/soft/hive/apache-hive-1.2.1-bin

export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH

wp! 退出

source /etc/profile

6. 修改配置文件hive-env.sh

先切换到hive下的conf目录下

cd apache-hive-1.2.1-bin/conf/

cp hive-env.sh.template hive-env.sh

然后：vim hive-env.sh。去掉以下参数之前的#号，然后改成相关值：

# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=/home/project/soft/hadoop/hadoop-2.6.4

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/home/project/soft/hive/apache-hive-1.2.1-bin/conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:

export HIVE_AUX_JARS_PATH=/home/project/soft/hive/apache-hive-1.2.1-bin/lib

7. 修改hive-site.xml

在hive的安装目录下，创建datatmp文件夹

mkdir datatmp

然后在该文件夹下再创建oplog文件夹

cd datatmp

mkdir oplog

cd ../conf/切换到conf目录下：

cp hive-default.xml.template hive-site.xml

然后，修改hive-site.xml文件中的如下参数

<property>

<name>hive.exec.local.scratchdir</name>

<value>/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp</value>

<description>Local scratch space for Hive jobs</description>

</property>

<property>

<name>hive.downloaded.resources.dir</name>

<value>/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp/${hive.session.id}_resources</value>

<description>Temporary local directory for added resources in the remote file system.</description>

</property>

<property>

<name>hive.querylog.location</name>

<value>/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp</value>

<description>Location of Hive run time structured log file</description>

</property>

<property>

<name>hive.server2.logging.operation.log.location</name>

<value>/home/project/soft/hive/apache-hive-1.2.1-bin/datatmp/oplog</value>

<description>Top level directory where operation logs are stored if logging functionality is enabled</description>

</property>

8. 修改配置文件hive-config.sh

cd ../bin

vi hive-config.sh

配置示例如下所示：

export JAVA_HOME=/usr/java/jdk1.8.0_92

export HADOOP_HOME=/home/project/soft/hadoop/hadoop-2.6.4

export HIVE_HOME=/home/project/soft/hive/apache-hive-1.2.1-bin

9. 在HDFS上创建Hive仓库的目录

注：这些路径是在hive-site.xml里配置的默认路径，以下命令不能更改任何数据

首先切换到hadoop的安装目录的bin子目录下，然后执行如下命令：

hadoop fs -mkdir /tmp

hadoop fs -mkdir /user/hive/warehouse

hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse

10 替换 jline.jar 包

首先切换到hive的安装目录下的lib子目录下：

cp jline-2.12.jar /home/project/soft/hadoop/hadoop-2.6.4/share/hadoop/yarn/lib

rm -rf /home/project/soft/hadoop/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar

11. 控制台命令行方式启动hive

切换到hive的bin目录下：

cd ../bin/

然后使用如下命令：

hive

测试：

hive> show tables;

OK

Time taken: 0.9 seconds

hive>

12. 开发模式启动hive

在bin目录下，执行如下命令：

nohup hive --service hiveserver2 --hiveconf hive.mapred.mode=strict &