Hadoop的学习前奏——Hadoop集群的配置

Posted yutingliuyl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop的学习前奏——Hadoop集群的配置相关的知识,希望对你有一定的参考价值。

前言:

  Hadoop集群的配置即全然分布式Hadoop配置。



笔者的环境:

  Linux:  CentOS 6.6(Final) x64
  JDK:    java version "1.7.0_75"
          OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)
          OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
  SSH:    OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013
  Hadoop: hadoop-1.2.1


步骤:

注:本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经能够安装伪分布式的Hadoop了。假设你的系统还不能安装伪分布式Hadoop,请參考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完毕配置。


1.首先在三台主机上创建同样的用户


2.在三台主机上分别设置/etc/hosts和/etc/hostname

  $ vim /etc/hosts

  技术分享

  $ vim /etc/hostname

  技术分享


3.在这三台主机上安装OpenSSH,并配置SSH能够免password登录。

  关于在单机上进行免password登录的部分,我在上一篇博客中有具体说明。假设你的配置出了问题以致无法免password登录。上一篇博客中有具体的做法,这里不再赘述。

  将master中的authorized_keys复制给两台slave,做法例如以下:

  $ scp authorized_keys slave1:~/.ssh/

  $ scp authorized_keys slave2:~/.ssh/


4.配置三台主机的Hadoop文件。

  $ vim core-site.xml

  技术分享


  $ vim hdfs-site.xml

  技术分享


  $ vim mapred-site.xml

  技术分享


  $ vim masters

  技术分享


  $ vim slaves

  技术分享

  至此,Hadoop的配置已基本完毕,你能够通过


5.启动Hadoop

  bin/hadoop namenode -format

  bin/start-all.sh


6.验证

  你能够通过下面命令或是通过訪问http://master:50030和http://master:50070查看集群状态

  hadoop dfsadmin -report
























以上是关于Hadoop的学习前奏——Hadoop集群的配置的主要内容,如果未能解决你的问题,请参考以下文章

学习笔记Hadoop—— Hadoop集群的安装与部署—— Hadoop配置参数介绍Hadoop集群启动与监控

学习笔记Hadoop—— Hadoop集群的安装与部署

学习笔记Hadoop—— Hadoop集群的安装与部署—— Hadoop集群部署模式配置固定IP

一脸懵逼学习基于CentOs的Hadoop集群安装与配置

学习笔记Hadoop—— Hadoop集群的安装与部署—— 配置ssh无密码登录

大数据学习|Hadoop安装