Hadoop伪分布式环境搭建

Posted 小呆蝎子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop伪分布式环境搭建相关的知识,希望对你有一定的参考价值。

 一、准备Linux环境

  1、安装目前常用的VMware,和Linux虚拟机(可以复制、拷贝)

  2、使用 vim /etc/sysconfig/network进行修改主机名

           

  3、使用 vim /etc/sysconfig/network-scripts/ifcfg-eth0 进行修改IP,设置自己的IP\\子网掩码\\默认网关

  4、修改主机名和IP之间的映射关系   vim  /etc/hosts

   (192.168.0.30    hadoop-1)

  5、查看防火墙状态(service iptables status),关闭防火墙(service iptable stop),关闭防火墙开机启动(chkconfig iptables off)

          

  6、重启Linux系统


以上Linux 环境准备完毕!

二、安装jdk

  1、首先,选择正确版本的jdk进行下载。其次,alt+p 后弹出sftp窗口,然后如下进行上传jdk到Linux系统

            

  2、解压jdk

    使用mkdir 命令在合适的位置创建文件夹 如/home/hadoop/jdk ; 然后利用如下命令进行解压到该目录下

           

  3、修改Java和Hadoop的环境变量利用命令 (vim /etc/profile)

    刷新配置操作:source /etc/profile

  4、验证jdk安装正确

            


以上jdk安装完毕!

三、安装hadoop 2.X 或hadoop 3.X 根据自己的情况选择

  1、上传hadoop到服务器端,并进行解压(跟jdk的上传方式一致)

  2、使用vim /etc/profile 将hadoop添加到环境变量

  3、依次修改5个配置文件包括 

             hadoop-env.sh

    

             core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>

   <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop-1:9000</value>
   </property>

   <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
   </property>

   <property>
         <name>hadoop.native.lib</name>
         <value>false</value>
         <description>if loadown native lib, open warn, so set this</description>
   </property>

</configuration>

 

             hdfs-site.xml

<configuration>
<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
</property>

<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
</property>

<property>
    <name>dfs.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>3</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>
</configuration>

 

             mapred-site.xml

<configuration>
<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>
</configuration>

 

             yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
   <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop-1</value>
   </property>

   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>

</configuration>

 

  4、利用hdfs namenode -format 命令格式化namenode

  5、启动hadoop, 先启动 sbin/start-dfs.sh; 再启动yarn sbin/start-yarn.sh

  6、使用jps命令验证hadoop是否启动成功

 

  

以上是关于Hadoop伪分布式环境搭建的主要内容,如果未能解决你的问题,请参考以下文章

云计算平台Hadoop伪分布式模式环境搭建

Hadoop初体验:快速搭建Hadoop伪分布式环境

Hadoop - Hadoop伪分布式搭建

搭建spark伪分散式需要先搭建hadoop吗

Hadoop伪分布式环境搭建验证

hadoop0.20.2伪分布式环境搭建