在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase

Posted Kurie

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase相关的知识,希望对你有一定的参考价值。

1. 所需软件下载链接(建议直接复制链接到迅雷下载更快):

①hadoop-2.7.6.tar.gz:

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

②zookeeper-3.4.12.tar.gz:

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

③hbase-1.2.6-bin.tar.gz:

wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz

注:hadoop与hbase版本有对应性,具体可参考apache官网:http://hbase.apache.org/book.html#quickstart,在页面上搜索:Hadoop version support matrix

④jdk-8u171-linux-x64.tar.gz:

链接:https://pan.baidu.com/s/1fEK_ArfqfpVa5lNj8cGGKg

提取码:ky0x

2. 安装教程

①安装hadoop参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

②安装zookeeper参考教程:https://www.cnblogs.com/frankdeng/p/9018177.html

③安装hbase参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

3. 注意事项

3.1 在参考hadoop安装教程时:

①首先要先卸载Centos本身自带的openjdk,参考这位博主的卸载教程:

https://www.cnblogs.com/happyflyingpig/p/8068020.html

注:不卸载应该也可以吧,您可以试一下先不卸载,装好jdk,再改好/etc/profile中的JAVA_HOME重新编译生效后,最后输入:

java -version

  看看版本更改过来没。

②步骤1.4:如果是以root用户安装环境时,即当前目录为~时:应当直接

cd /opt

  因为/opt是根目录下的opt,在该目录下创建相应module、software文件夹,而不是先mkdir opt,再cd opt(这是root用户下的opt);但如果您已经先mkdir opt了的话,JAVA_HOME应该为:/root/opt/module/jdk1.8,而不是/opt/module/jdk1.8

总结:

cd /opt:根目录下的opt

cd opt:当前登录用户下的opt

③步骤2:向其他节点复制jdk时,改用该命令更好:

scp -r /opt/module/jdk1.8 root@node22:/opt/module

3.2 在参考教程时:

  一定要尽量都下载我上面提供的版本,因为我试过好几个hadoop、hbase、jdk的版本,存在好多不兼容情况,比如:我之前使用的jdk1.8_202版本,在我搭建完这些环境后,总有一些问题如java.net.connect ion拒绝连接什么的,后面我换成了jdk1.8_171就好了。

4. 最后

  上述搭建大数据环境的三个教程为同一个博主@Frankdeng编写,更具统一性,安装起来命令 复制粘贴起来更方便hhh 更有参考性,非常感谢参考教程的博主!

 

上述主要参考教程的博主的博客地址:https://www.cnblogs.com/frankdeng/

以上是关于在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase的主要内容,如果未能解决你的问题,请参考以下文章

Spark + Kafka大数据环境的搭建和示例的简单运行

集群安装搭建赛题解析

centOS7 下搭建 Python3 环境

大数据之一:Hadoop2.6.5+centos7.5三节点大数据集群部署搭建

大数据之搭建HDP环境,以三个节点为例

Zookeep 分布式锁