docker搭建hadoop2.8.5

Posted 马云12314

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了docker搭建hadoop2.8.5相关的知识,希望对你有一定的参考价值。

docker搭建hadoop不一样的是,本次采用Dockerfile的方式构建镜像,然后启动镜像,形成多主机多容器的方式启动Hadoop集群。

1.在各个宿主机上搭建网桥weave

           curl -L git.io/weave -o /usr/local/bin/weave

          weave launch

2.各个宿主机通过weave网桥链接

         192.168.130.166主机上操作:

                                                    weave connect 192.168.130.167

                                                    weave connect 192.168.130.168

       192.168.130.167主机上操作:

                                                   weave connect 192.168.130.166

                                                   weave connect 192.168.130.168

       192.168.130.168主机上操作:

                                                  weave connect 192.168.130.166

                                                  weave connect 192.168.130.167

3.各个宿主机上创建子网段,使得同一网段的hadoop容器节点能互相通信:

                          docker network create hadoop

4.创建目录hadoop-cluster-docker,并在该目录下,写入hadoop的配置相关:

        相关数据上传到git中,详情:https://github.com/mayunzhen/hadoop2.8.5-cluster-docker

5.拉取git项目:

         git clone https://github.com/mayunzhen/hadoop2.8.5-cluster-docker.git

        cd hadoop2.8.5-cluster-docker

       ./build-image.sh

 6.启动集群:

     随意哪个宿主机上随意启动(tips:weave固定的IP必须在同一个网段中,以便同一网段的容器能通信):

                docker run  -itd  -h hadoop-master --name hadoop-master --net=hadoop -v /etc/localtime:/etc/localtime:ro  -p 50070:50070 -p 8088:8088 -p 9000:9000 iammayunzhen/hadoop:2.8.5

                weave attach 192.168.1.10/24 hadoop-master

                docker run  -itd  -h hadoop-slave1 --name hadoop-slave1 --net=hadoop -v /etc/localtime:/etc/localtime:ro centos_hdp:2.8.5

                weave attach 192.168.1.11/24 hadoop-slave1

               docker run  -itd  -h hadoop-slave2 --name hadoop-slave2 --net=hadoop -v /etc/localtime:/etc/localtime:ro centos_hdp:2.8.5

                weave attach 192.168.1.12/24 hadoop-slave2

7.查看集群状态

。。。

以上是关于docker搭建hadoop2.8.5的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop 集群设置:连接被拒绝错误

Docker搭建Hadoop环境

基于docker搭建hadoop跨主机集群

【大数据】使用Docker搭建Hadoop集群

docker搭建hadoop分布式系统

使用 Docker 搭建 Hadoop 集群 和 Spark On Yarn