Hive源码系列hive2.1.1+hadoop2.7.3环境搭建
Posted 小萝卜算子
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive源码系列hive2.1.1+hadoop2.7.3环境搭建相关的知识,希望对你有一定的参考价值。
这是一篇工具类的文章,工欲善其事必先利其器,要分析调试hive源码,必须搭建一套hive的运行环境。还记得第一次搭建hive源码调试环境,用了一个月的时间,才完全跑通整个调试过程。中间遇到各种各样莫名奇妙的问题,也有好多次想放弃,幸好坚持了下来。
linux版本:centos 6.5
Java版本:jdk1.8
Hive版本:hive-2.1.1
Hadoop版本:hadoop-2.7.3
1、Jdk环境安装
下载 jdk-8u131-linux-x64.tar.gz http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
-
上传jdk安装包
-
解压安装包
tar -zxvf jdk-8u131-linux-x64.tar.gz
-
建立软链节
ln -s jdk1.8.0_131/ java
- 配置环境变量
vim /etc/profile
source /etc/profile 使生效
-
验证
java –version
2、HADOOP安装部署
我下载的是 hadoop-2.7.3.tar.gz,官网在2.5之后默认提供的就是64位的,这里直接下载下来用即可
下载:http://hadoop.apache.org/
-
上传HADOOP安装包
-
解压安装包
tar -zxvf hadoop-2.7.3.tar.gz
-
建立软链节
ln -s hadoop-2.7.3 hadoop
-
配置环境变量
vim /etc/profile
source /etc/profile 使生效
-
修改配置文件(搭建调试环境,伪分布就够用啦)
cd $HADOOP_HOME/etc/hadoop/
vim core-site.xml
vim hdfs-site.xml
vim hadoop-env.sh
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
vim yarn-site.xml
-
ssh免密码登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
chmod 0600~/.ssh/authorized_keys
-
格式化namenode
hdfs namenode -format
-
启动
start-dfs.sh start-yarn.sh
-
验证
访问 http://192.168.146.128:50070
-
数据测试(wordcount)
hdfs dfs -mkdir /wordcount
hdfs dfs -put ~/testdata/wordcount /wordcount
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcount/wordcount /wordcount/output
hadoop fs -cat /wordcount/output/part-r-00000
-
停止
stop-dfs.sh
stop-yarn.sh
3、HIVE安装部署
Hive2.1.1下载 https://hive.apache.org/
apache-hive-2.1.1-bin.tar.gz 安装包
apache-hive-2.1.1-src.tar.gz 源码包 (后面编译源码、调试源码会用到)
-
上传HIVE安装包
-
解压安装包
tar -zxvf apache-hive-2.1.1-bin.tar.gz
-
建立软链节
ln -s apache-hive-2.1.1-bin hive
-
配置环境变量
vim /etc/profile
source /etc/profile 使生效
-
mysql安装(用mysql做为hive的元数据库)
下载:https://dev.mysql.com/downloads/mysql/5.6.html#downloads
MySQL-client-5.6.42-1.el6.x86_64.rpm
MySQL-server-5.6.42-1.el6.x86_64.rpm
rpm -ivh MySQL-server-5.6.42-1.el6.x86_64.rpm 安装mysql服务端
rpm -ivh MySQL-client-5.6.42-1.el6.x86_64.rpm 安装mysql客户端
service mysql start启动mysql 服务端
cat /root/.mysql_secret 查看mysql初始化密码
用初始化密码登录并修改密码
mysql -u root -p_tcke0WJxDyw02TS
set password=PASSWORD('123456');
测试:
mysql -u root -p123456
-
hive配制
cd /opt/soft/hive/conf
vim hive-site.xml
-
下载mysql jdbc驱动包
https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.47
mysql-connector-java-5.1.47.jar
把mysql的jdbc驱动放置到hive的lib目录下
-
初始化hive元数据库
schematool -dbType mysql -initSchema
-
安装完成 测试:
推荐阅读:
Hey!
我是小萝卜算子
欢迎关注:数据仓库践行者
分享是最好的学习,这里记录我对数据仓库的实践的思考和总结
每天学习一点点
知识增加一点点
思考深入一点点
在成为最厉害最厉害最厉害的道路上
很高兴认识你
以上是关于Hive源码系列hive2.1.1+hadoop2.7.3环境搭建的主要内容,如果未能解决你的问题,请参考以下文章
centos7中基于hadoop安装hive(CentOS7+hadoop2.8.0+hive2.1.1)