跟我一步一步学习Hadoop准备Linux集群环境

Posted 2021-02-19

安装虚拟机，我的是VMware Workstation Pro12,在VM中创建虚拟机同时安装一个Linux环境。这里就不在细说，如果有需要的朋友可以联系微信号:18008428026,后期可以增加内容。
1.准备Linux环境（我的是CentOS6.4版本）
1.0 在安装好一台linux后，需要配置好网络。网络配置注意:1.后期的虚拟机我们要使用NAT模式进行网络连接，先在本地机选择网络-->右键-->属性-->配置VMnet8这块虚拟网卡的IPV4的IP为:192.168.10.1

2.进入VMware-->编辑-->虚拟网络编辑器--->选择VMnet8-->配置子网IP（192.168.10.0）

3.进入VMware-->编辑-->虚拟网络编辑器--->选择VMnet8-->NAT设置网关配置成192.168.10.2

4.进入虚拟机的Linux系统，配置网关为192.168.10.2.DNS1服务器:8.8.8.8,DNS2服务器为:4.4.4.4（关于具体的网络配置有需要的朋友可以联系微信号:18008428026）

克隆配置:基于上面做好的机器开始克隆。温馨提示:由于是克隆，所以克隆出来的系统MAC和IP都要做修改。步骤如下:

1.克隆完毕后启动克隆系统，通过如下命令修改70-persistent-net.rules文件

[root@localhost Desktop]# vim /etc/udev/rules.d/70-persistent-net.rules

PCI device 0x8086:0x100f (e1000)

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?", ATTR{address}=="00:0c:29:04:aa:1f", ATTR{type}=="1", KERNEL=="eth", NAME="eth0"

PCI device 0x8086:0x100f (e1000)

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?", ATTR{address}=="00:0c:29:a7:d6:ab", ATTR{type}=="1", KERNEL=="eth", NAME="eth1"

把第一行的eth0删除，把后面的NAME="eth1"改成NAME="eth0"

PCI device 0x8086:0x100f (e1000)

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?", ATTR{address}=="00:0c:29:a7:d6:ab", ATTR{type}=="1", KERNEL=="eth", NAME="eth0"

2.通过图形界面，右上角的网络配置，把System-eth0网卡的MAC改成跟硬件设置中的MAC地址一致:00:0c:29:a7:d6:ab，IP地址也根据要求做修改。譬如:(192.168.10.24)

---

1.1修改主机名(所有机器都修改)
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hsm01 ###

1.2配置主机名到IP的映射,修改/etc/hosts配置文件如下:

192.168.10.21 hsm01
192.168.10.22 hsm02
192.168.10.23 hsm03
192.168.10.24 hsm04

cat /etc/hosts

1.3通过
scp -r /etc/hosts hsm02:/etc/hosts
scp -r /etc/hosts hsm03:/etc/hosts
scp -r /etc/hosts hsm04:/etc/hosts
发送到各台机器，

1.4关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
1.5.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录 (如果没有请使用:[root@CDH02 ~]# ssh root@localhost 登录自己后就有了)
cd ~/.ssh

1.6、SSH免密码登录
所有点执行：
ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
生成无密码密钥对

    将公钥拷贝到要免登陆的机器上(拷贝给自己)

cp id_rsa.pub authorized_keys

将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost 譬如：ssh-copy-id CDH02 或者 ssh-copy-id 192.168.8.99
ssh-copy-id hsm01
ssh-copy-id hsm02
ssh-copy-id hsm03
ssh-copy-id hsm04

1.7、关闭SELINUX
临时关闭：
setenforce 0
修改配置文件
vi /etc/selinux/config（重启生效）：
将SELINUX=enforcing改为SELINUX=disabled

1.8查看SELINUX状态：
1、/usr/sbin/sestatus –v
SELinux status: enabled（enabled：开启；disabled：关闭）
2、使用命令：getenforce
到此集群需要的4台机器已经配置好。准备开始安装Hadoop环境，具体见下一章。Hadoop环境的安装和配置。（伪分布式环境，完全分布式环境，HA+FailOver配置,yarn的配置等）
遇到问题的朋友可以加群大家一起学习提高：
778620988 （花生米01云数据）
489651549（花生米02云数据）