虚拟机hadoop伪分布式搭建

Posted ydsuper

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了虚拟机hadoop伪分布式搭建相关的知识,希望对你有一定的参考价值。

虚拟机搭建自定义类型 主机名为hadoop可以省略 很多步骤

1.安装虚拟机

  配置和网络 

    (1)IPADDR

    (2)NETMASK

    (3)GATEWAY

    (4)DNS1

  远程连接 Xshell

  关闭防火墙

    (1)service iptables stop

    (2)chkconfig iptables off

2.安装jdk,配置环境变量

  上传jdk压缩包 解压 jdk放到/usr/local路径下

    (1)tar -zxvf  解压

    (2)ln -s xxxx.jdk jdk 建立软连接

  配置环境变量  进入到vi /etc/profile下

    export JAVA_HOME=/usr/local/jdk
    export PATH=.:$JAVA_HOME/bin:$PATH

  刷新

    source /etc/profile

  查看是否成功

    java -version

3.修改host是文件,添加映射

  vi /etc/hosts 添加

  自己的IP  主机名 

   例如:192.168.48.151 node51

4.配置免密登录

  生成秘钥 ssh-keygen -t rsa 4个回车

  拷贝秘钥 ssh-copy-id -i hadoop

5 上传hadoop压缩包到/usr/local/ 并解压 和上面jdk步骤相同

6 配置hadoop的环境变量
  进入vi /etc/profile路径下
    export JAVA_HOME=/usr/local/jdk
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

  刷新

    source /etc/profile

7 修改7大配置文件,并进行替换
  所在位置 hadoop/etc/hadoop

    (1)core-site.xml

    (2)hadoop-env.sh

    (3)hdfs-site.xml

    (4)mapred-site.xml

    (5)slaves

    (6)yarn-env.sh

    (7)yarn-site.xml

      hadoop 改为自己的主机名

      主机名如果是hadoop可以不修改
8 格式化namenode
  hdfs namenode -format
  出现 has been successfully formatted 格式化成功
9 启动hadoop进程
  start-all.sh
10 验证搭建是否成功,出现如下进程成功
  DataNode
  ResourceManager
  SecondaryNameNode
  NodeManager
  NameNode

 

以上是关于虚拟机hadoop伪分布式搭建的主要内容,如果未能解决你的问题,请参考以下文章

HADOOP 伪分布式集群搭建

Hadoop安装搭建伪分布式教程(全面)吐血整理

Hadoop单机伪分布部署

Spark基础学习笔记04:搭建Spark伪分布式环境

Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群

Hadoop - Hadoop伪分布式搭建