Hive 2Hive 的安装配置(本地MySql模式)

Posted tesla-turing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive 2Hive 的安装配置(本地MySql模式)相关的知识,希望对你有一定的参考价值。

一、前提条件

  安装了Zookeeper、Hadoop HDFS HA  

二、安装Mysql

  因为使用量多的是单用户数据库模式,并且数据库使用最多的是mysql 所以在这里选择mysql数据库;

$ yum install mysql-server
$ service mysqld start
#连接mysql 
$ mysql -uroot -p  #首次密码是空的(直接敲空格)

  

use mysql;
select host,user,password from user;

  技术图片

 

 

--要删除 user为空的用户
delete from user where user=‘‘;

--为root用户设置密码,这里用到了一个函数 PASSWORD()他可以将输入的明文密码转换为加密码格式
update user set password=PASSWORD(‘123456‘) where user=‘root‘;

  技术图片

 

 

--刷新权限
flush privileges;

--为其他客户端开启连接权限  如果是hive和mysql在同一台服务器上则不需要授权
grant all privileges on *.* to ‘root‘@‘%‘ identified by ‘123456‘;  
-- 可以把 %改成IP,则授权固定IP 

  三、Hive安装

#启动Zookeeper
$ zkServer.sh start 

#启动Hadoop
$ start-all.sh

  

#解压安装包 并移动到local目录下
$ tar -zxvf apache-hive-1.2.1-bin.tar.gz 
$ mv apache-hive-1.2.1-bin /usr/local/apache-hive-1.2.1

  

#配置环境变量,将HIVE_HOME写入:
$ vim /root/.bash_profile
#写入
PATH=$PATH:$HOME/bin
JAVA_HOME=/usr/java/jdk1.7.0_79
HADOOP_HOME=/usr/local/hadoop-2.5.1
ZK_HOME=/usr/local/zookeeper-3.4.6
HIVE_HOME=/usr/local/apache-hive-1.2.1
export JAVA_HOME
export HADOOP_HOME
export ZK_HOME
PATH=$PATH:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin/:$JAVA_HOME/bin/:$ZK_HOME/bin/:$HIVE_HOME/bin
export PATH

#重新加载配置文件
$ source /root/.bash_profile

  

#修改Hive的配置文件
$ cd /usr/local/apache-hive-1.2.1/conf
$ cp hive-default.xml.template hive-site.xml
$ vim hive-site.xml

#删除里面内容,只留<configuration></configuration> 节点
#删除方法
#将光标放在<configuration>的下一行在:模式下输入.,$-1d 按回车 例     :.,$-1d  #从当前行删除到倒数第二行

 

<!-- 在configuration中加入配置 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/opt/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
 <!-- 如果是远程mysql数据库的话需要在这里写入远程的IP或hosts -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node5:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>

  

更新jline.jar 在早期Hadoop版本中 jline.jar的版本是0.9+ 使用这个版本会报错,所以要替换成新版本的Jar包;
  jline.jar包下载地址:http://maven.outofmemory.cn/jline/jline/2.12.1/
 

 

$ cd /usr/local/hadoop-2.5.1/share/hadoop/yarn/lib
$ rm -rf  jline-0.9.94.jar
$ cp /root/jline-2.12.1.jar ./

  

 下载mysql 的 jdbc连接驱动jar包,放到hive的lib目录下  http://www.mysql.com/products/connector/  :JDBC Driver for MySQL (Connector/J)

  

$ cp /root/mysql-connector-java-5.1.32-bin.jar ./

  启动hive 

 

 技术图片

 

 

 技术图片

 

  如果能正常的显示登录到hive的命令行下,就表示安装成功了;

以上是关于Hive 2Hive 的安装配置(本地MySql模式)的主要内容,如果未能解决你的问题,请参考以下文章

Hive详解

大数据技术之Hive基本概念安装数据类型

大数据技术之Hive基本概念安装数据类型

Hive入门

Hive入门

Hive入门