hadoop零基础系列之一：虚拟机下的Linux集群构建

Posted 2020-06-17

经过了近两年的hadoop学习和使用，有必要把hadoop的学习进行一个总结，最好的方式就是以博客的方式来总结，既重新梳理以前的学习也可以和同行沟通交流，从今天开始将陆续推出hadoop零基础系列的文章，

当然总结过程中会参考相关方面的资料书，有些例子会直接来源与网络和书籍，我会在文中列出引用

考虑到初学者都是在单机的环境进行学习，所以我们采用虚拟机的方式来构建Linux集群，本篇我们先把Linux集群给构建起来，主机系统本人采用的系统是win7 旗舰版

1.虚拟机软件VMware

采用的VMware版本VMware-workstation-full-11.x.x，具体安装过程略去。

在安装VMware之前首先要确保真实主机Bios中设置了支持虚拟化（非常重要）

2.CentOS6.5安装

之所以选择CentOS6.5，是因为稳定，现在企业用的最多的版本之一吧，我们采用精简的模式安装，不安装图形界面

 

主机名需要对每台机器设置不同的主机名，建议大家用node1,node2,....作为主机名。

3.主机与虚拟机网络配置

虚拟机(Linux)与主机(Win7)直接采用NAT网络连接方式，这也是VMware默认采用的网络连接方式，这种方式好处就是只要主机能上网，虚拟机基本不用配置就可以联网。

初学者建议采用这种方式，但是要保证

VMware NAT service启动（默认启动）

VMware DHCP servie 启动（默认启动）

但采用这种方式来构建集群时需要在VMware中要进行设置。

VMware中设置方式如下：

 子网IP这个设置很重要，这个设置决定了你的Linux集群的IP地址的网段。另外把子网IP设置成固定IP后，即使你的电脑重启，电脑IP地址更换，也不会影响Linux集群

 

启动Linux虚拟机，以root用户登录

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet

ONBOOT=yes   #Linux启动时就激活网卡

NM_CONTROLLED=yes

BOOTPROTO=static  #采用静态IP地址设置,默认是dhcp(自动获取)

IPADDR=192.168.61.13   #IP地址，自己随便设定，值在3-255之间即可

NETMASK=255.255.255.0   #子网掩码

GATEWAY=192.168.61.2  #网关

（如果不会使用vi编辑器的话，请自行百度）

编辑完后重新启动网络，使用如下命令：

service network restart

接下来要设置DNS

vi /etc/resolv.conf

nameserver 192.168.61.2

注意，网上很多在设置DNS时，让大家设置8.8.8.8之类的，其实大可不必，此处设置为虚拟机网关IP即可

至此，Linux系统能够访问外网了，可以在linux ping一下看看网络是否联通

ping www.baidu.com

 3.安装其他的虚拟机

安装完成一台虚拟机后，可以采用克隆的方式来安装，

克隆完以后需要修改克隆生成的虚拟机配置，因为克隆机器与母机器是一模一样，有相同的MAC地址和IP地址，这样子是网络不通的。

需要在克隆后的机器上修改配置

vi /etc/sysconfig/network-scripts/ifcfg-eth0  

删除下面的两行

HWADDR=…

UUID=…

保存退出

然后：

rm -rf /etc/udev/rules.d/70-persistent-net.rules

重启Linux系统，让Linux系统自动生成MAC地址，而且生成的MAC地址是全球唯一的。

到这里一个Linux集群就初步建立起来了。由于写博客时，虽尽量检查，然并不保证中间有什么遗漏

如果安装过程中有问题的可以留言。我会一一解答。

 

关于版权：

作者：胡杨林上的一片云

博客园首发：http://www.cnblogs.com/QTHelper/p/5238191.html

任何转帖请说明出处，并附上上述信息