HIVE 2.3.4 本地安装与部署 （Ubuntu）

Posted 丿隔岸观灬

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了HIVE 2.3.4 本地安装与部署 （Ubuntu）相关的知识，希望对你有一定的参考价值。

配置环境总是令人头大！
苦苦挣扎数日后，博主总算活过来了！
特分享成功配置HIVE的过程！

类似Hadoop，Hive也有三种也不同的部署模式（本文采用第二种）：

  1. 内嵌模式：将元数据保存在Hive内嵌的Derby数据库中，只允许一个会话连接
  2. 本地模式：（以mysql为例）在本地安装MySQL，将元数据保存在MySQL中，支持多个会话、多用户连接
  3. 远程模式：将元数据保存在远端数据库中

基本环境：

  • Ubuntu 18.04 (Ubuntu 16.04 同样适用噢）
  • Hadoop 2.9.1

注：本文在已配置Hadoop的用户（用户名为hadoop）下执行操作。

1.下载安装hive

  • 下载hive

  • 可以从Apache官方镜像直接下载:
    https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

  • 也可以通过命令行命令：
    wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz
  • 解压缩到路径 /usr/local
    tar -zxvf ./apache-hive-2.3.4-bin.tar.gz -C /usr/local/

  • 重命名
    sudo mv apache-hive-2.3.4-bin hive

2.配置Hive

2.1 配置环境变量

vim ~/.bashrc
也可用gedit等其他编辑器打开并编辑
在 bashrc 中添加

# /usr/local/hadoop 为 Hadoop 安装目录
export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/sbin:/usr/local/hive/bin
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

保存后，执行
source ~/.bashrc
使文件生效

2.2 修改配置文件 hive-site.xml

进入hive配置目录：
cd /usr/local/hive/conf
将hive-default.xml.template重命名为hive-default.xml
sudo mv hive-default.xml.template hive-default.xml
新建一个配置文件hive-site.xml并编辑
sudo vim hive-site.xml
在hive-site.xml中写入MySQL配置信息（虽然我们还没有安装MySQL）：
注意，第三部分<value>hadoop</value>处hadoop为MySQL用户名
同样，第四部分<value>123456</value>处123456为MySQL密码

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hadoop</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>

2.3修改配置文件 hive-env.xml

将hive-env.xml.template重命名为hive-env.xml：
sudo mv hive-env.xml.template hive-env.xml
在hive-env.xml中增加:

# Hadoop的位置：
export HADOOP_HOME=/usr/local/hadoop
# hive的conf目录位置：
export HIVE_CONF_DIR=/usr/local/hive/conf
# hive的lib目录位置：
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib

3. 下载安装MySQL

3.1 安装

更新软件源: sudo apt-get update
安装MySQL：sudo apt-get install mysql-server
安装过程会设置root用户密码，设置完成后自动安装即可

3.2 启动MySQL

service mysql start

3.3 检查是否启动成功

sudo netstat -tap | grep mysql
有mysql信息即启动成功，也说明安装成功

3.4 配置驱动（mysql jdbc,本文使用5.1.46版本）

命令行下载：
sudo wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
解压：
sudo tar -zxvf mysql-connector-java-5.1.46.tar.gz
移动到hive/lib目录下
sudo cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/local/hive/lib
友情提醒，这里有个坑... 如果使用其他版本connector，版本不宜过低

4.配置权限

4.1 配置MySQL接入权限

# root登陆MySQL：
sudo mysql -u root -p

# 进入mysql shell，注意 ";" 标识一条命令结束
# 授予权限给用户hadoop，密码123456:
mysql> GRANT ALL ON *.* TO ‘hadoop‘@‘%‘ IDENTIFIED BY ‘123456‘; 
# 配置成功，回显：
Query OK, 0 rows affected, 1 warning (0.02 sec)
# 退出:
mysql> exit;
# 退出成功，回显：
Bye

之后可以以hadoop用户（非授权用户需要 sudo 指令）
mysql -u hadoop -p
登陆 mysql shell

4.2 创建仓库并配置权限

在hdfs上创建相关仓库，并配置权限：
若未启动hadoop，请先启动hadoop

hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -mkdir -p /user/hive/tmp
hadoop fs -mkdir -p /user/hive/log
hadoop fs -chmod -R 777 /user/hive/warehouse
hadoop fs -chmod -R 777 /user/hive/tmp
hadoop fs -chmod -R 777 /user/hive/log

注意，直接调用hadoop fs命令需要已配置相关环境变量

4.3 初始化

cd /usr/local/hive/bin
schematool -initSchema -dbType mysql
看到 schemaTool completed ,即初始化成功！

5.启动hive及测试

请先确保 hadoop 已正常启动!

# 启动hive（由于已配置相关环境变量，直接使用）：
hive
# 启动成功，启动过程提示信息结束后，回显：
hive> 
# 说明已成功启动。同样，注意 ";" 标识一条命令结束！

5.1 测试 hive

# 显示数据库：
hive> show databases;
OK
default
Time taken: 14.107 seconds, Fetched: 1 row(s)

# 创建一个表:
hive> create table test1(tid int, tname string);
OK
Time taken: 5.021 seconds

# 显示tables:
hive> show tables;
OK
test1
Time taken: 5.077 seconds, Fetched: 1 row(s)

# 删除刚刚创建的表test1：
hive> drop table test1;
OK
Time taken: 5.223 seconds

# 重新创建表 test1（用于mysql测试）:
hive> create table test1(tid int, tname string);
OK
Time taken: 1.322 seconds

# 退出 hive shell
hive> exit;

5.2 测试 mysql

# hadoop 用户进入mysql
mysql -u hadoop -p
# 输入密码后，进入mysql shell
mysql>
# 显示数据库：
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.11 sec)

# 使用hive数据库
mysql> use hive;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed

# 显示我们刚刚创建的表（记录在table TBLS中）
mysql> select * from TBLS;
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER  | RETENTION | SD_ID | TBL_NAME | TBL_TYPE      | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT | IS_REWRITE_ENABLED |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+
|      1 |  1543335170 |     1 |                0 | hadoop |         0 |     1 | test1    | MANAGED_TABLE | NULL               | NULL               |                    |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+
1 row in set (0.00 sec)
# 在上面，我们可以看到OWNER:hadoop,TBL_NAME:test1,即我们刚刚创建的表
# 退出：
mysql> exit;
Bye

到此，我们的配置就大功告成了！
如果想使用远程连接mysql，主要需要修改 hive-site.xml 文件中第一部分 ConnectionURL。

参考博客

感谢这些博主提供的基础步骤和问题解决方案！

  • https://ywnz.com/linuxysjk/2480.html
  • http://www.chenhongsong.top/index.php/2018/11/19/
  • https://blog.csdn.net/SCGH_Fx/article/details/65947763
  • https://blog.csdn.net/u012922838/article/details/73291524
  • https://blog.csdn.net/u014695188/article/details/54646575

































以上是关于HIVE 2.3.4 本地安装与部署 （Ubuntu）的主要内容，如果未能解决你的问题，请参考以下文章

hive的本地安装部署，元数据存储到mysql中

阿里云ECS服务器部署HADOOP集群：Hive本地模式的安装

Hive安装部署与配置

单机安装hadoop-2.9.2+apache-hive-2.3.4-bin

hive的安装，啥是hive的metastore的远程与本地

hive 安装配置部署与测试