在CentOS上安装Hadoop集群-- Centos系统配置

Posted 天下无丝

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在CentOS上安装Hadoop集群-- Centos系统配置相关的知识,希望对你有一定的参考价值。

在CentOS上安装Hadoop集群(一)

1、  Centos的系统配置

1.1打开终端方式: 

方式1:在桌面单击右键,>>Open in terminal

 

 

方式2:Applications菜单上选择System tools -> Terminal

 

 

打开了

 

 

1.2配置网络环境

查看ip地址命令:ifconfig

网络安装命令:setup

重启网络服务命令:service network restart

网络连接命令:ifup eth0

 

如图所示,电脑有个红叉表示网络未连接

 

 

ifconfig 如图可以也看到没有ip地址,表示网络未连接,下面我们用命令方式连接网络

输入setup按回车键

 

 

输入root用户密码,我们就能看到如下界面

 

 

通过键盘上右下角的上下左右键选择网络配置Network configuration,然后按键盘上的tab键选择功能 ,知道选中Run Tool按下回车键,出现如下界面

 

 

按tab选中Save&Quit 回车

 

按tab键选中Quit 回车,就会回到终端界面

然后是重启网络

切换到root用户,

输入命令重启网络:service network restart

网络连接:ifup eth0

 

 

正在连接

 

连接成功

 

 

1.3配置系统时钟同步

(1)配置自动时钟同步

  查看当前时间命令:date

  输入命令:crontab –e

 

 

执行后加入一行:(和vi命令一样,按i进入编辑模式,Esc返回命令模式,:w保存修改,:q退出)

         插入以下内容:

0-59/10 * * * *  /usr/sbin/ntpdate us.pool.ntp.org | longger –t NTP

内容意思是:加入定时计划,每隔10分钟同步一下时钟,保存和退出后,还需要重启定时任务器才行

 

 

重启定时服务器:service crond restart

 

 

(2)手动同步时钟

输入命令:ntpdate  us.pool.ntp.org

 

 

主节点的时间同步就配置好了,从节点Slave采用同样的方式配置

 

1.4配置主机名称

(1)配置HadoopMaster节点

         输入:vim  /etc/syscofig/network

 

 

修改为:HOSTNAME=master

 

 

使其生效:     hostname master

验证是否修改成功:hostname 出现master

或者打开另一个终端输入:hostname 出现 master

 

 

(2)配置HadoopSlave节点,和主节点一样

         vim /etc/sysconfig/network

                   修改为:

                   HOSTNAME=slave01

                   使其生效:

                   hostname slave01

                   验证:

                   打开另一个终端:

                   hostname

                   出现:slave01 表示成功

 

 

1.5关闭防火墙

输入命令:setup 选中Firewall configuration

 

 

选中[*] Enabled 按空格键去掉*,相当于关闭防火墙了

 

 

然后退出

1.6配置hosts列表

         (1)先配置master

查看主节点master的ip地址

 

 

查看从节点slave01的ip地址

 

 

在终端输入 vi  /etc/hosts

按i键插入主从节点ip地址和主机名

 

 

按esc  然后输入:wq保存退出

这样就配置好了,接下来我们看主从节点能不能通信,如果ping的数据一直在跑,用ctrl+c停止

 

 

(2)用同样的办法配置slave01,还可以从主节点并hosts

         复制到slave01下,用命令:scp /etc/hosts root@slave01:/etc/hosts

 

 

在slave01下进行验证:

ping master

 

 

ping slave01

 

 

以上Centos的系统配置就算是成功了,想要终止,可以用ctrl+c停止,

以上是关于在CentOS上安装Hadoop集群-- Centos系统配置的主要内容,如果未能解决你的问题,请参考以下文章

CentOS 6.7安装Hadoop 2.6.3集群环境

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

CentOS7 通过Ambari安装Hadoop集群

从VMware安装建centos7虚拟机到hadoop集群搭建详细图文过程;以及安装中的一些问题

Centos7安装部署Hadoop集群

Centos7安装部署Hadoop集群