CentOS7搭建Hive1.2.2+mysql5.7

Posted 2021-03-24 wangchaoqi

关于搭建Hadoop环境，可参考：https://www.cnblogs.com/SysoCjs/p/10835793.html）

说明：

#master，表示在master节点上操作；

#master，#slave1，#slave2，表示在三个节点上都要操作；

一、安装Hive1.2.2

1、源码包下载

#master

http://mirror.bit.edu.cn/apache/hive/

可以直接到官网点击下载到本地，然后cp到CentoOS7上；或者使用命令下载：

wget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

解压压缩包：

tar zxvf apache-hive-1.2.2-bin.tar.gz

2. 修改Hive配置文件

#Master

cd apache-hive-1.2.2-bin/conf

在/conf文件夹下面，默认是没有hive-site.xml文件，所以要创建一个，然后进入修改内容：

touch hive-site.xml
 
vim hive-site.xml

添加内容：

<?xml version="1.0" encoding="UTF-8" standalone="no" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
        </property>
        <property>
                <name>javax.jdo.option.COnnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
</configuration>

3、配置环境变量：

#Master、Slave1、Slave2

输入命令：

vim ~/.bashrc

追加语句：

export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

文件添加了一个HIVE_HOME变量，以及在原先PATH上追加了“:$HIVE_HOME/bin”。

#刷新资源文件，输入命令：

source ~/bashrc

值得注意一点：hadoop原装有个jlines的jar包，版本是0.9.0x，但是hive需要用到2.x的版本，所以：

将当前hive版本的$HIVE_HOME/lib目录下的jline-2.12.jar包拷贝到$HADOOP_HOME/share/hadoop/yarn/lib目录下, 并将旧版本的Hive的Jline包从$HADOOP_HOME/etc/hadoop/yarn/lib目录下删除

二、安装Mysql5.7

1、下载mysql资源安装包

输入命令：

wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

2、安装mysql源

输入命令：

yum localinstall mysql57-community-release-el7-8.noarch.rpm

检查mysql源是否安装成功，输入命令：

yum repolist enabled | grep "mysql.*-community.*"

出现上图内容，表示安装成功。

3、安装Mysql-server

        mysql源安装成功后，会有一个配置文件，里面可以设置默认下载的Mysql-server版本，这里是安装Mysql5.7.如果想要安装其他版本的Mysql-server，可以输入命令：

vim /etc/yum.repos.d/mysql-community.repo

比如要安装5.6版本，将5.7源的enabled=1改成enabled=0。然后再将5.6源的enabled=0改成enabled=1即可。

输入命令，安装Mysql-server：

yum install mysql-community-server

4、启动Mysql服务

输入命令：

systemctl start mysqld

查看mysql状态：

systemctl status mysqld

5、设置开机自启

输入命令：

systemctl enable mysqld
systemctl daemon-reload

6、修改root本地登录密码

输入命令：

mysql -uroot -p

对于mysql5.6，直接摁enter。

对于mysql5.7，则在mysql -uroot -p命令之前要查看系统给的默认密码多少，输入命令：

grep ‘temporary password‘ /var/log/mysqld.log

mysql安装完成之后，在/var/log/mysqld.log文件中给root生成了一个默认密码。

获取默认密码后，使用默认密码登录，接着就是修改密码，这是mysql要求修改的。mysql5.7的默认密码策略检测要求包含：大小写字母、数字和特殊符号，并且长度不能少于8位。否则会提示ERROR 1819 (HY000): Your password does not satisfy the current policy requirements错误。所以，第一次修改密码时，先按这个要求设置，输入修改密码命令：

set password for ‘root‘@‘localhost‘=password(‘MyNewPass4!‘); 

为了平时能够方便使用，可以修改密码检测策略，然后将密码修改为简单点，如111111，

修改密码策略，输入命令：

vim /est/my.cnf

添加语句：

validate_password_policy=0

validate_password_policy默认值是MEDIUM，这个参数有三个值，分别是：

0（LOW），1（MEDIUM），2（STRONG）

另外，如果不需要密码策略，可以在文件中添加：

validate_password = off

重新启动MySQL服务，输入命令：

systemctl restart mysqld

7、设置远程登录用户

进入mysql服务里面，进行一波操作：

show databases;
use mysql;
update user set host=‘%‘ where user=‘root‘ and host=‘localhost‘;
delete from user where user<>‘root‘;
flush privileges;

8、配置默认编码utf8

vim /etc/my.cnf

添加语句：

character_set_server=utf8
init_connect=‘SET NAMES utf8‘

三、安装Mysql连接器

        一开始也有写到，本篇是介绍安装mysql5.7的，为什么不建议安装mysql5.6呢？因为mysql5.7与之对应的connector版本为5.1.4x，而mysql5.6对应的connector版本则是5.1.3x，去到官网：http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/，已经没有5.1.3x版本的connector了。

1、下载安装包、解压

wget http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz
tar zxvf mysql-connector-java-5.1.45.tar.gz

复制库文件：

cp mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar /usr/local/src/apache-hive-1.2.2-bin/lib

7、拷贝安装包

#master

scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave1:/usr/local/src/apache-hive-1.2.2-bin
scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave2:/usr/local/src/apache-hive-1.2.2-bin

8、启动Hive服务

#master

输入命令：

hive

最后附上关于启动hive时可能会遇到的坑的解决方法：https://www.jianshu.com/p/d9cb284f842d