hive的安装

Posted 2021-11-26 lihanyangqaq

二 Hive安装环境准备

2.1 Hive安装地址

1）Hive官网地址：

http://hive.apache.org/

2）文档查看地址：

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3）下载地址：

http://archive.apache.org/dist/hive/

4）github地址：

https://github.com/apache/hive

2.2 Hive安装部署

1）Hive安装及配置

（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下

（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面

[[email protected] software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

（3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive

[[email protected] module]$ mv apache-hive-1.2.1-bin/ hive

（4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

[[email protected] conf]$ mv hive-env.sh.template hive-env.sh

（5）配置hive-env.sh文件

（a）配置HADOOP_HOME路径

export HADOOP_HOME=/opt/module/hadoop-2.8.4

（b）配置HIVE_CONF_DIR路径

export HIVE_CONF_DIR=/opt/module/hive/conf

注：Hive的log默认存放在/tmp/itstar/hive.log目录下（当前用户名下）。

（1）修改hive的log存放日志到/opt/module/hive/logs

（2）修改conf/hive-log4j.properties.template文件名称为hive-log4j.properties

[[email protected]]$ pwd

/opt/module/hive/conf

[[email protected]]$ mv hive-log4j.properties.template hive-log4j.properties

（3）在hive-log4j.properties文件中修改log存放位置

hive.log.dir=/opt/module/hive/logs

2）Hadoop集群配置

（1）必须启动hdfs和yarn

[[email protected]]$ sbin/start-dfs.sh

[[email protected] hadoop-2.8.4]$ sbin/start-yarn.sh

（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

[[email protected]]$ bin/hadoop fs -mkdir /tmp

[[email protected]]$ bin/hadoop fs -mkdir /user/hive/warehouse

 

[[email protected]]$ bin/hadoop fs -chmod g+w /tmp

[[email protected]]$ bin/hadoop fs -chmod g+w /user/hive/warehouse

3）Hive基本操作

（1）启动hive

[[email protected]]$ bin/hive

（2）查看数据库

hive>show databases;

（3）打开默认数据库

hive>use default;

（4）显示default数据库中的表

hive>show tables;

（5）创建一张表

hive> create table student(id int, name string) ;

（6）显示数据库中有几张表

hive>show tables;

（7）查看表的结构

hive>desc student;

（8）向表中插入数据

hive> insert into student values(1001,"ss1");

（9）查询表中数据

hive> select * from student;

（10）退出hive

hive> quit;

 

2.4 mysql安装

2.4.1 安装包准备

1. 官网下载地址

https://dev.mysql.com/downloads/file/?id=471503

 

2.检测本地是否有mysql已存在的包

rpm -qa | grep mysql

 

3.检测本地是否有mariadb已存在的包

rpm -qa | grep mariadb

 

4.如果存在，则使用yum命令卸载

mariadb-libs-5.5.56-2.el7.x86_64

yum -y remove mariadb-libs-5.5.56-2.el7.x86_64

rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

 

5.创建一个文件夹，上传jar包到/opt/software/mysql

mkdir /opt/software/mysql

 

6.解压mysql jar包

tar -xvf mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar -C /opt/module/mysql

 

7.安装mysql的 server、client、common、libs、lib-compat

rpm -ivh --nodeps mysql-community-server-5.7.19-1.el7.x86_64.rpm

rpm -ivh --nodeps mysql-community-client-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm

 

8.查看mysql的服务是否启动

systemctl status mysqld

 Active: inactive (dead)

 

9.启动mysql的服务

systemctl start mysqld

 

10.再次检查mysql的服务是否启动

systemctl status mysqld

   Active: active (running) since Thu 2019-03-21 07:23:08 EDT; 2s ago

 

11.查看默认生成的密码

cat /var/log/mysqld.log | grep password

2019-03-21T11:23:01.643479Z 1 [Note] A temporary password is generated for [email protected]: iwkJGgd:j6jO

 

12.登录mysql服务

mysql -uroot -p’然后粘贴上密码’

 

13.修改mysql密码规则

0 or LOW	长度
1 or MEDIUM	长度、大小写、数字、特殊字符
2 or STRONG	长度、大小写、数字、特殊字符、词典

 

注：以下修改是临时修改

a. 密码强度检查等级，0/LOW、1/MEDIUM、2/STRONG

mysql> set global validate_password_policy=0;

Query OK, 0 rows affected (0.05 sec)

 

b.密码至少要包含的小写字母个数和大写字母个数

mysql> set global validate_password_mixed_case_count=0;

Query OK, 0 rows affected (0.00 sec)

 

c.密码至少要包含的数字个数 

mysql> set global validate_password_number_count=3;

Query OK, 0 rows affected (0.00 sec)

 

d.密码至少要包含的特殊字符数

mysql> set global validate_password_special_char_count=0;

Query OK, 0 rows affected (0.00 sec)

 

e.密码最小长度，参数默认为8，

它有最小值的限制，最小值为：validate_password_number_count + 密码至少要包含的数字个数validate_password_special_char_count +特殊字符

 (2 * validate_password_mixed_case_count)至少要包含的小写字母个数和大写字母个数

mysql> set global validate_password_length=3;

Query OK, 0 rows affected (0.00 sec)

14. 修改密码：

GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘localhost‘ IDENTIFIED BY ‘000000‘ WITH GRANT OPTION;

 

(这两步可以跳过)

 mysql> use mysql;

mysql> SHOW VARIABLES LIKE ‘validate_password%‘;

+--------------------------------------+-------+

| Variable_name                        | Value |

+--------------------------------------+-------+

| validate_password_dictionary_file    |       |

| validate_password_length             | 3     |

| validate_password_mixed_case_count   | 0     |

| validate_password_number_count       | 3     |

| validate_password_policy             | LOW   |

| validate_password_special_char_count | 0     |

+--------------------------------------+-------+

 

 

15.修改远程登录权限

如上图所示：这个是可以成功远程链接得配置

大家默认的%的位置是localhost,即意味着只能本机访问

 

查询当前user表内root的登录权限：

select host,user from mysql.user;

修改权限为所有%：

update mysql.user set host = ‘%‘ where user = ‘root‘;

刷新缓存：

flush privileges;

 

2.5 Hive元数据配置到MySql

2.5.1 驱动拷贝

1）上传mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

[[email protected]]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

2.5.2 配置Metastore到MySql

1）在/opt/module/hive/conf目录下创建一个hive-site.xml

[[email protected]]$ touch hive-site.xml

[[email protected]]$ vi hive-site.xml

2）根据官方文档配置参数，拷贝数据到hive-site.xml文件中。

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

 

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://bigdata111:3306/metastore?createDatabaseIfNotExist=true&amp;useSSL=false(启动hive时可能有警告,加上消除警告)

 

</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

 

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

 

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>root</value>

  <description>username to use against metastore database</description>

</property>

 

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>000000</value>

  <description>password to use against metastore database</description>

</property>

</configuration>

 

3）配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群）

4）在hive的bin目录下执行./schematool -dbType mysql -initSchema

元数据修改成功：

2.5.3 Hive常见属性配置

2.5.3.1 Hive数据仓库位置配置

1）Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下

2）在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。

3）修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中）

 

<property>

 

<name>hive.metastore.warehouse.dir</name>

 

<value>/user/hive/warehouse</value>

 

<description>location of default database for the warehouse</description>

 

</property>

 

配置同组用户有执行权限

bin/hdfs dfs -chmod g+w /user/hive/warehouse

2.5.3.2 查询后信息显示配置

1）在hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。

 

<property>

 

<name>hive.cli.print.header</name>

 

<value>true</value>

 

</property>

 

 

 

<property>

 

<name>hive.cli.print.current.db</name>

 

<value>true</value>

 

</property>

2）重新启动hive，对比配置前后差异

 

（1）配置前

（2）配置后

2.5.3.3 Hive运行日志信息配置

1）Hive的log默认存放在/tmp/itstar/hive.log目录下（当前用户名下）。

2）修改hive的log存放日志到/opt/module/hive/logs

（1）修改/opt/module/hive/conf/hive-log4j.properties.template文件名称为

hive-log4j.properties

[[email protected]]$ pwd

/opt/module/hive/conf

[[email protected]]$ mv hive-log4j.properties.template hive-log4j.properties

（2）在hive-log4j.properties文件中修改log存放位置

hive.log.dir=/opt/module/hive/logs

2.5.3.4 多窗口启动Hive测试

1）先启动MySQL

[[email protected]]$ mysql -uroot -p000000

查看有几个数据库

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql             |

| performance_schema |

| test               |

+--------------------+

2）再次打开多个窗口，分别启动hive

[[email protected]]$ bin/hive

3）启动hive后，回到MySQL窗口查看数据库，显示增加了metastore数据库

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| metastore          |

| mysql             |

| performance_schema |

| test               |

+--------------------+