hadoop2.6.2伪分布式环境搭建

Posted bookwed

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop2.6.2伪分布式环境搭建相关的知识,希望对你有一定的参考价值。

1、准备三台机器,机器名是:master、slave01、slave02

  1.1 最小化安装centos6.5

  1.2 安装ssh,yum -y install openssh-clients(这一步安装是因为系统最小化安装时,这个组件是没有的)

  1.3 修改主机名

    vi /etc/sysconfig/network    

  1.4 修改hosts文件,三台机器的内容一样  

    vim /etc/hosts   

    192.168.137.56 master
    192.168.137.61 slave01
    192.168.137.62 slave02

2、免密码登录 

  http://www.cnblogs.com/bookwed/p/4809390.html  

  由于是自己测试,使用root用户,设置免密码登录;在生产环境,可以自己新建用户。

3、安装好jdk环境(jdk1.8)

  http://www.cnblogs.com/bookwed/p/4807356.html

4、hadoop相关

  4.1 下载

    http://hadoop.apache.org/releases.html,选择 2.6.2版本,binary,下载。

  4.2 上传、解压

    通过xftp上传到服务器,可以先只上传到mater机器,完全设置好配置文件后,再拷贝到另外两台机器。

    这里我把文件放到/app/programs/目录下

  4.3 修改hadoop配置文件

    http://www.cnblogs.com/bookwed/p/4816521.html

    从 “附上几个配置文件的信息:”这里开始看,主要关注这几个配置文件。

    把这几个配置文件修改后,通过scp 拷贝到slave01、slave02的相同目录。

      scp /app/programs/hadoop-2.6.2 root@slave01:/app/programs/

      scp /app/programs/hadoop-2.6.2 root@slave02:/app/programs/

  4.4 测试

    在master机器上操作:

    cd hadoop-2.6.2

    ./bin/hadoop namenode -format 格式化

    ./sbin/start-all.sh   启动      

    jps  查看

    

    

    访问:http://192.168.137.56:50070/,master机器的ip。

       http://192.168.137.56:8088/

  

 

以上是关于hadoop2.6.2伪分布式环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

linux环境下的伪分布式环境搭建

Spark单机伪分布式环境搭建完全分布式环境搭建Spark-on-yarn模式搭建

hadoop2.7.3伪分布式环境搭建详细安装过程

HDFS伪分布式环境搭建

Hadoop伪分布式环境搭建验证

云计算平台Hadoop伪分布式模式环境搭建