Hadoop完全分布式搭建全过程

Posted 2021-11-25 zmanzi

一、角色分配

　　　　　 　NN　　 DN　　  SNN　　

node211:　　 *

node212:　　　　　　*　　　　*

node213:　　　　　　*

node214:　　　　　　*

二、基础设施配置

　　网络：IP、hosts、hostname，根据实际情况修改IP

　　ssh：

　　　　ssh localhost　　-->　　exit　　　　-->  cd ~/.ssh

　　　　ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

　　　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

　　jdk：

　　　　export JAVA_HOME=/usr/java/default
               export PATH=$PATH:$JAVA_HOME/bin
               source /etc/profile

 三、应用搭建

　　文件解压部署：

　　　　tar xf hadoop-2.6.5.tar.gz

　　　　　mkdir -p /opt/manzi
                  mv  ~/hadoop/  /opt/manzi/
                  vi /etc/profile
                        export JAVA_HOME=/usr/java/default
                        export HADOOP_HOME=/opt/manzi/hadoop
                        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin　

四、应用配置

　　cd $HADOOP_HOME/etc/hadoop
                    vi hadoop-env.sh
                        export JAVA_HOME=/usr/java/default
                    vi core-site.xml  
                       　　 <!--决定NameNode在哪里启动-->
                        　　<property>
                            　　　　<name>fs.defaultFS</name>
                            　　　　<value>hdfs://node211:9000</value>
                       　　 </property>
                        　　<property>
                            　　　　<name>hadoop.tmp.dir</name>
                            　　　　<value>/var/manzi/hadoop/local</value>
                        　　</property>                       

　　　　vi hdfs-site.xml
                        　　//副本数量为2个
                       　　 <property>
                            　　　　<name>dfs.replication</name>
                           　　　　 <value>2</value>
                       　　 </property>    
                        　　<property>
                            　　　　<name>dfs.namenode.secondary.http-address</name>
                            　　　　<value>node212:50090</value>
                        　　</property>   

　　　　vi slaves
                                node212
                                node213
                                node214