Hive源码系列hive2.1.1+hadoop2.7.3环境搭建

Posted 小萝卜算子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive源码系列hive2.1.1+hadoop2.7.3环境搭建相关的知识,希望对你有一定的参考价值。

这是一篇工具类的文章,工欲善其事必先利其器,要分析调试hive源码,必须搭建一套hive的运行环境。还记得第一次搭建hive源码调试环境,用了一个月的时间,才完全跑通整个调试过程。中间遇到各种各样莫名奇妙的问题,也有好多次想放弃,幸好坚持了下来。

linux版本:centos 6.5

Java版本:jdk1.8

Hive版本:hive-2.1.1

Hadoop版本:hadoop-2.7.3

1、Jdk环境安装

下载 jdk-8u131-linux-x64.tar.gz   http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  • 上传jdk安装包

  • 解压安装包

    tar -zxvf jdk-8u131-linux-x64.tar.gz

  • 建立软链节

    ln -s jdk1.8.0_131/ java

  • 配置环境变量 

        vim /etc/profile

        source /etc/profile 使生效

  • 验证 

    java –version

2、HADOOP安装部署

我下载的是 hadoop-2.7.3.tar.gz,官网在2.5之后默认提供的就是64位的,这里直接下载下来用即可

下载:http://hadoop.apache.org/

  • 上传HADOOP安装包 

  • 解压安装包

    tar -zxvf hadoop-2.7.3.tar.gz

  • 建立软链节

    ln -s hadoop-2.7.3 hadoop

  • 配置环境变量

    vim /etc/profile

      source /etc/profile 使生效

  • 修改配置文件(搭建调试环境,伪分布就够用啦)

        cd $HADOOP_HOME/etc/hadoop/

        vim core-site.xml       

        

        vim hdfs-site.xml

        vim hadoop-env.sh 

        cp  mapred-site.xml.template mapred-site.xml

        vim mapred-site.xml

        vim yarn-site.xml

  • ssh免密码登录

        ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa     

cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys

chmod 0600~/.ssh/authorized_keys

  • 格式化namenode  

    hdfs namenode -format

  • 启动

    start-dfs.sh  start-yarn.sh

  • 验证

        访问 http://192.168.146.128:50070

  • 数据测试(wordcount)

    hdfs dfs -mkdir /wordcount

    hdfs dfs -put ~/testdata/wordcount /wordcount

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  wordcount /wordcount/wordcount /wordcount/output 

    hadoop fs -cat /wordcount/output/part-r-00000

  • 停止

    stop-dfs.sh

    stop-yarn.sh

3、HIVE安装部署

Hive2.1.1下载  https://hive.apache.org/

apache-hive-2.1.1-bin.tar.gz  安装包

apache-hive-2.1.1-src.tar.gz   源码包 (后面编译源码、调试源码会用到)

  • 上传HIVE安装包

  • 解压安装包

    tar -zxvf apache-hive-2.1.1-bin.tar.gz

  • 建立软链节

    ln -s apache-hive-2.1.1-bin hive 

  • 配置环境变量

 vim /etc/profile

source /etc/profile 使生效

  • mysql安装(用mysql做为hive的元数据库) 

下载:https://dev.mysql.com/downloads/mysql/5.6.html#downloads

MySQL-client-5.6.42-1.el6.x86_64.rpm

MySQL-server-5.6.42-1.el6.x86_64.rpm

rpm -ivh MySQL-server-5.6.42-1.el6.x86_64.rpm  安装mysql服务端

rpm -ivh MySQL-client-5.6.42-1.el6.x86_64.rpm  安装mysql客户端

service mysql start启动mysql 服务端

cat /root/.mysql_secret 查看mysql初始化密码

用初始化密码登录并修改密码

mysql -u root -p_tcke0WJxDyw02TS

set password=PASSWORD('123456');

测试:

mysql -u root -p123456

  • hive配制

        cd /opt/soft/hive/conf

        vim hive-site.xml

  • 下载mysql jdbc驱动包

        https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.47

        mysql-connector-java-5.1.47.jar

        把mysql的jdbc驱动放置到hive的lib目录下

  • 初始化hive元数据库

        schematool -dbType mysql -initSchema

  • 安装完成 测试:

推荐阅读:

Hive源码系列(七)编译模块之词法、语法解析 (下)

Hive源码系列(七)编译模块之词法、语法解析 (中)

Hive源码系列(六)编译模块之词法、语法解析 (上)


Hey!

我是小萝卜算子

欢迎关注:数据仓库践行者

分享是最好的学习,这里记录我对数据仓库的实践的思考和总结

每天学习一点点

知识增加一点点

思考深入一点点

在成为最厉害最厉害最厉害的道路上

很高兴认识你

以上是关于Hive源码系列hive2.1.1+hadoop2.7.3环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

centos7中基于hadoop安装hive(CentOS7+hadoop2.8.0+hive2.1.1)

Centos7安装Sqoop(CentOS7+Sqoop1.4.6+Hadoop2.8.0+Hive2.1.1)

Hive2.1.1的安装

hive2.1.1的安装与配置

Hive2.1.1安装

hive2.1.1安装部署