基于docker搭建hadoop跨主机集群

Posted 2023-03-17

参考技术A

摘要：本文是基于docker 17.09.0搭建的hadoop 2.7.2 分布式跨主机集群，集群规模为一个master和两个salve，一共使用三台物理主机（两台或者多台物理机均可模拟），集群网络使用的是docker swarm搭建。

备注：中文社区中相关资料极少，相关资料请直接翻阅 官方文档

运行之后会有如下信息提示

进入slave1中，运行如下命令：

同样进入slave2中，运行相同命令

这样，节点slave1 slave2就加入了master的swarm网络了。其中运行的命令即为第二步中创建完网络提示的信息。

观察上一步我们发现， hadoop-master容器启动在master主机上。我们进入到master。

自此，使用docker的跨主机的hadoop集群搭建完成。

问题描述：笔者在搭建过程中碰到了这个问题，docker容器hadoop-master和hadoop-slave1,hadoop-slave2在一个swarm网络中，能够互相ping通，但是在ssh登录的时候出现 connection time out 异常，等了很久最后连接超时，也没有报其他问题。笔者在碰到这个问题的时候，找到的原因是物理主机slave1,slave2的防火墙没有关，直接截拦了对容器内部的ssh访问。

解决方案：