hive安装和搭建

Posted 2021-04-29 人工智能时代AI

hive

安装和搭建

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便

“

Hive中metastore（元数据存储）的三种方式：

a)内嵌Derby方式

b)Local方式

c)Remote方式

准备条件：

1、jdk安装

2、hadoop HA安装

3、mysql 安装

4、hive安装

服务端安装

客服端安装

介绍remove 前端后端 分离模式

1

验证jdk安装

java -version

未安装下载安装（不缀述）

 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

2

hadoop

检查安装启动（请标查阅haddop HA安装）

3

mysql安装

1、安装

   
     
     
   

    
      
      
    
yum install mysql-server y 
    
      
      
    
service mysqld start 
    
      
      
    
mysql 
    
      
      
    
mysql> show databases 
    
      
      
    
mysql> select host,user,password from user
   
     
     
   

2、授权设置用户名密码

  
    
    
  

   
     
     
   
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY '123' WITH GRANT OPTION 
   
     
     
   
delete from user where host!='%';
  
    
    
  

3、刷新缓存

flush privileges;

4、登录

 mysql -u root -p

4

hive服务端安装

1、hive下载

http://hive.apache.org/downloads.html

2、下载成功后解压安装包

tar -zvxf apache-hive-1.2.1-bin.tar.gz

3、配置HIVE环境变量

export HIVE_HOME=/opt/data/apache-hive-1.2.1-bin

export PATH=$JAVA_HOME/bin:$HADOOP_PREFIX/sbin:$HADOOP_HOME/bin:$PATH:$ZOOKEEPER_PREFIX/bin:HIVE_HOME/bin

4、 配置服务端hive-site.xml文件

5、添加mysql jar包到hive下

 cp -r /opt/soft/mysql-connector-java-5.1.32-bin.jar /opt/data/apache-hive-1.2.1-bin/lib/

6、将hadoop jline包替换成hive 下的版本保持一致

cp -r /opt/data/apache-hive-1.2.1-bin/lib/jline-2.12.jar  /opt/data/hadoop-2.6.5/share/hadoop/yarn/lib/

7启动服务端

 hive --service metastore  

5

hive客户端安装

服务端1、2、3督与端安装一致

4、 配置客户端hive-site.xml文件

5、Hive客户端启动

hive

6

hive验证

1、创建表hellotable

2、导入数据 hello_data文件

load  data  local  inpath '/opt/data/test_data'  into table  test_table;

3、查询表数据

至此安装成功

7

hive Beeline

Beeline 要与HiveServer2配合使用
1、服务端启动

 hiveserver2

---

客户的通过beeline两种方式连接到hive
1、beeline -u jdbc:hive2://node01:10000/default -n root

2、beeline
beeline> !connect jdbc:hive2://<host>:<port>/<db>;auth=noSasl root 123
默认 用户名、密码不验证