hive安装以及hive on spark

Posted 2020-09-06 willian

      spark由于一些链式的操作，spark 2.1目前只支持hive1.2.1

1. hive 1.2安装

到http://mirror.bit.edu.cn/apache/hive/hive-1.2.1/ 网址下载hive1.2.1的部署包

     2.配置系统环境变量/etc/profile

export HIVE_HOME=/opt/hive-1.2.1

export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile 使刚刚的配置生效

 

     3. 解压

tar -xvf apache-hive-1.2.1-bin.tar
mv apache-hive-1.2.1-bin /opt/hive-1.2.1

 

     4.修改配置文件

        可不做任何修改hive也能运行，默认的配置元数据是存放在Derby数据库里面的，大多数人都不怎么熟悉，我们得改用mysql来存储我们的元数据，以及修改数据存放位置和日志存放位置等使得我们必须配置自己的环境，下面介绍如何配置。

cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml
cp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh
cp $HIVE_HOME/conf/hive-exec-log4j.properties.template $HIVE_HOME/conf/hive-exec-log4j.properties
cp $HIVE_HOME/conf/hive-log4j.properties.template $HIVE_HOME/conf/hive-log4j.properties

修改 hive-env.sh

vi $HIVE_HOME/conf/hive-env.sh 

  export HADOOP_HOME=/root/hadoop

  export HIVE_CONF_DIR=/opt/hive-1.2.1/conf

修改 hive-log4j.properties

mkdir $HIVE_HOME/logs
vi $HIVE_HOME/conf/hive-log4j.properties
修改log.dir的目录
hive.log.dir=/opt/hive-1.2.1/logs

修改 hive-site.xml

 

cp mysql-connector-java-5.1.17.jar $HIVE_HOME/lib   //复制mysql驱动包