hadoop完全分布式的搭建的理解

Posted 2020-09-18

hadoop完全分布式的搭建思路？

1. jdk必须安装，所有机器都是一样的。环境变量是PATH,但是在配置PATH的时候，一定要加上.;这是系统原来的环境变量，如果不加这个，可能再次开不出机器。

2. Hadoop安装，可以放在yarn，也可以不放在yarn，环境变量HADOOP_HOME,JAVA_HOME(这个主要是切换jdk来用的，j2ee就是这样的）

3. 所有机器的host里面必须有对应的主机，各个子节点的IP地址，以及域名对应关系，则必须修改各个机器的hostname的域名，重启立马生效。

4. 配置ssh协议，首先各个节点，先配置自己的，然后远程登录到自己，不需要登录密码

5. 各个节点必须互通，则可以将各个节点的公钥都发给主节点，这就意味着所有所有节点都可以访问主机不需要秘钥，然后主机将所有发过来的秘钥加到自己的authorized_keys中，这就意味着所有节点的公钥都在此（包括主节点的）然后将其发送给各个节点，这样大家都拥有很多公钥，则都可以互访，为什么这么设计，为什么直接各个机器配好ssh,都互相复制下，不也一样，而且公钥只有一份，因为公钥里面携带了IP地址和用户名，就必须不一样，因为不同的IP地址。

6. 配置好了之后，如何检测？

   可以检测它的namenode和mapreduce管理界面，一个是50070，一个是50030

本文出自 “简答生活” 博客，谢绝转载！