伪分布式Hadoop2.x集群的搭建

Posted 2020-07-11

1. 安装JDK

 a.查出当前已经安装的JDK  # rpm -qa | grep java 
 b.卸载原先自带的JDK  # rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.el6.noarch java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
 c.解压安装 # tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

 d.配置JDK的环境变量  

  

  

2. 创建hadoop普通用户

   

   给hadoop用户设置sudo权限,更改/etc/sudoers ,如果该文件不可写设置权限 # chmod 640 /etc/sudoers

   

  

  切换到hadoop用户 # su - hadoop

3. 创建规范的软件安装文件

     

  /opt/modules # 大型软件的安装路径
  /opt/softwares # 软件源程序安装包上传路径
  /opt/tools # 工具安装路径
  /opt/datas #数据文件存放路径

4. 配置handoop 

   a. 在/opt/modules 目录下，创建子目录。更改hadoop所属者和所属组为hadoop

    

  b. 用ftp将hadoop2.5.0.tar.gz 上传到/opt/softwares, 将hadoop2.5.0.tar.gz解压缩到 /opt/hadoop/modules/hadoop

     

  c. 在/opt/modules/hadoop/hadoop-2.5.0/etc/hadoop 修改hadoop-env.sh

     

  d. 修改core-site.xml 

    

 e. 修改hdfs-site.xml

    因为是伪分布式,所以这边备份数量为1

   

  f. 格式化nameNode

   

  g.验证 

    1. 启动namenode, 用jps命令查看是否启动成功

     

   2. 启动datanode, 用jps命令查看是否启动成功

     

  3. 启动secondaryNameNode,用jps命令查看进程是否启动成功

     

   4. 通过web页面验证HDFS