跟我一步一步学习Hadoop准备Linux集群环境

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了跟我一步一步学习Hadoop准备Linux集群环境相关的知识,希望对你有一定的参考价值。

安装虚拟机,我的是VMware Workstation Pro12,在VM中创建虚拟机同时安装一个Linux环境。这里就不在细说,如果有需要的朋友可以联系微信号:18008428026,后期可以增加内容。
1.准备Linux环境(我的是CentOS6.4版本)
1.0 在安装好一台linux后,需要配置好网络。网络配置注意:1.后期的虚拟机我们要使用NAT模式进行网络连接,先在本地机选择网络-->右键-->属性-->配置VMnet8这块虚拟网卡的IPV4的IP为:192.168.10.1

2.进入VMware-->编辑-->虚拟网络编辑器--->选择VMnet8-->配置子网IP(192.168.10.0)

3.进入VMware-->编辑-->虚拟网络编辑器--->选择VMnet8-->NAT设置网关配置成192.168.10.2

4.进入虚拟机的Linux系统,配置网关为192.168.10.2.DNS1服务器:8.8.8.8,DNS2服务器为:4.4.4.4(关于具体的网络配置有需要的朋友可以联系微信号:18008428026)

克隆配置:基于上面做好的机器开始克隆。温馨提示:由于是克隆,所以克隆出来的系统MAC和IP都要做修改。步骤如下:

1.克隆完毕后启动克隆系统,通过如下命令修改70-persistent-net.rules文件

[root@localhost Desktop]# vim /etc/udev/rules.d/70-persistent-net.rules

PCI device 0x8086:0x100f (e1000)

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?", ATTR{address}=="00:0c:29:04:aa:1f", ATTR{type}=="1", KERNEL=="eth", NAME="eth0"

PCI device 0x8086:0x100f (e1000)

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?", ATTR{address}=="00:0c:29:a7:d6:ab", ATTR{type}=="1", KERNEL=="eth", NAME="eth1"

把第一行的eth0删除,把后面的NAME="eth1"改成NAME="eth0"

PCI device 0x8086:0x100f (e1000)

SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?", ATTR{address}=="00:0c:29:a7:d6:ab", ATTR{type}=="1", KERNEL=="eth", NAME="eth0"

2.通过图形界面,右上角的网络配置,把System-eth0网卡的MAC改成跟硬件设置中的MAC地址一致:00:0c:29:a7:d6:ab,IP地址也根据要求做修改。譬如:(192.168.10.24)


1.1修改主机名(所有机器都修改)
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hsm01 ###

1.2配置主机名到IP的映射,修改/etc/hosts配置文件如下:

192.168.10.21 hsm01
192.168.10.22 hsm02
192.168.10.23 hsm03
192.168.10.24 hsm04

cat /etc/hosts

1.3通过
scp -r /etc/hosts hsm02:/etc/hosts
scp -r /etc/hosts hsm03:/etc/hosts
scp -r /etc/hosts hsm04:/etc/hosts
发送到各台机器,

1.4关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
1.5.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录 (如果没有请使用:[root@CDH02 ~]# ssh root@localhost 登录自己后就有了)
cd ~/.ssh

1.6、SSH免密码登录
所有点执行:
ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
生成无密码密钥对

    将公钥拷贝到要免登陆的机器上(拷贝给自己)

cp id_rsa.pub authorized_keys

将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost 譬如:ssh-copy-id CDH02 或者 ssh-copy-id 192.168.8.99
ssh-copy-id hsm01
ssh-copy-id hsm02
ssh-copy-id hsm03
ssh-copy-id hsm04

1.7、关闭SELINUX
临时关闭:
setenforce 0
修改配置文件
vi /etc/selinux/config(重启生效):
将SELINUX=enforcing改为SELINUX=disabled

1.8查看SELINUX状态:
1、/usr/sbin/sestatus –v
SELinux status: enabled(enabled:开启;disabled:关闭)
2、使用命令:getenforce
到此集群需要的4台机器已经配置好。准备开始安装Hadoop环境,具体见下一章。Hadoop环境的安装和配置。(伪分布式环境,完全分布式环境,HA+FailOver配置,yarn的配置等)
遇到问题的朋友可以加群大家一起学习提高:
778620988 (花生米01云数据)
489651549(花生米02云数据)
技术图片

以上是关于跟我一步一步学习Hadoop准备Linux集群环境的主要内容,如果未能解决你的问题,请参考以下文章

跟我一步一步学习MapReduce了解MapReduce和Yarn原理

跟我一步一步学Struts2——拦截器

一步一步跟我学习hadoop----hadoop Map/Reduce教程

一步一步跟我学习hadoop----hadoop连接mysql数据库运行数据读写数据库操作

跟我一起来创建自己的公众号1-初

自己动手一步一步安装hadoop(含编译hadoop的native本地包)