搭建Hadoop集群

Posted 2022-07-01 唯见长江

前提: 从母机克隆三台

---

一.克隆机更改 ip

// [root@Hadoop 桌面]# vim /etc/udev/rules.d/70-persistent-net.rules

---

// [root@Hadoop 桌面]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

---

二. 检查是否更改成功

// ip addr / ifconfig
// 重启网络  service network restart
// 重启 reboot

三. 更改主机名

// [root@Hadoop 桌面]# vim /etc/sysconfig/network
// 需要重启才可以生效

---

四.改映射

// [root@Hadoop 桌面]# vim /etc/hosts
// 例如：
192.168.6.77 hadoop11
192.168.6.78 hadoop22
192.168.6.79 hadoop33

五.关闭防火墙

// 关闭
// service iptables stop  
// 关闭开机自动启动
// chkconfig iptables off

六.连接xshell

七.搭建hadoop集群

// tar -zxf ? -C ?

// hadoop1/2/3环境配置
// vim /etc/profile
/**
#HADOOP_HOME
export HADOOP_HOME=/opt/en/hadoop-2.7.2/
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
*/
// 刷新
// source /etc/profile
// 查询配置是否成功 
// hadoop version
// 其他

八.传输给其他两台

// rsync -av ? root@主机名:?
// 两台:配置环境变量 + 刷新 + 测试
// 其他

---

九.配置集群

1.

// cd /etc/hadoop/
// vim core-site.xml
/** 
<!--1、NameNode地址：ip/主机名+端口-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Hadoop1:9000</value>
        </property> 
<!--2、Hadoop运行数据目录:地址-->
        <property>
                <name>hadoop.tmp.dir</name> 
                <value>/opt/en/hadoop-2.7.2/data/tmp</value> 
        </property>   
*/

// vim hadoop-env.sh
// 在末尾加上
/**
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
//
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
*/

2.

// vim hdfs-site.xml
/** 
<!--副本数3-->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property> 
<!--2、snn配置:主机名/ip+端口-->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Hadoop2:50090</value>
        </property> 
	
*/

// vim yarn-env.sh
// 在末尾加上
/**
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
*/

3.

// vim yarn-site.xml
/**
<!--1、reducer的获取数据的方式--> 
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property> 
<!--2、rm的位置-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Hadoop3</value>
        </property>
*/


// vim mapred-env.sh
// 在末尾加上
/**
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
*/

4.

// 改名
// cp mapred.xml.template mapred-site.xml
// vim mapred-site.xml
/** 
<!--1.指定mr运行自YARN上-->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
*/

---

十.传输

// rsync -av /opt/en/hadoop/ root@hadoop:/opt/en/hadoop/

十一.单启

// 集群启动第一要格式化__转到hadoop目录下
// hdfs namenode -format
// 1
// hadoop-daemon.sh start namenode
// 1/2/3
// hadoop-daemon.sh start datanode
// jps

十二.群起

// cd ~/.ssh/
// ssh.keygen -t rsa
// ll
// 是否有 id_rsa
// 传1/2/3
// ssh-copy-id hadoop1/2/3

// 测试
// ssh hadoop2/3

// 群起配置
// cd /opt/en/hadoop-2.7.2/ect/hadoop/
// vim slaves
// 删除原所有 + 
/**
// 对应主机名
hadoop1
hadoop2
hadoop3
*/
// 传输给hadoop2/3

---

---