Hadoop伪分布式环境搭建

Posted 2021-01-07 小呆蝎子

 一、准备Linux环境

　　1、安装目前常用的VMware，和Linux虚拟机（可以复制、拷贝）

　　2、使用 vim /etc/sysconfig/network进行修改主机名

           

　　3、使用 vim /etc/sysconfig/network-scripts/ifcfg-eth0 进行修改IP,设置自己的IP\\子网掩码\\默认网关

　　4、修改主机名和IP之间的映射关系   vim  /etc/hosts

　　　（192.168.0.30    hadoop-1）

　　5、查看防火墙状态（service iptables status），关闭防火墙（service iptable stop），关闭防火墙开机启动（chkconfig iptables off）

          

　　6、重启Linux系统

---

以上Linux 环境准备完毕！

二、安装jdk

　　1、首先，选择正确版本的jdk进行下载。其次，alt+p 后弹出sftp窗口，然后如下进行上传jdk到Linux系统

            

　　2、解压jdk

　　　　使用mkdir 命令在合适的位置创建文件夹 如/home/hadoop/jdk ; 然后利用如下命令进行解压到该目录下

           

　　3、修改Java和Hadoop的环境变量利用命令 (vim /etc/profile)

　　　 刷新配置操作：source /etc/profile

　　4、验证jdk安装正确

            

---

以上jdk安装完毕！

三、安装hadoop 2.X 或hadoop 3.X 根据自己的情况选择

　　1、上传hadoop到服务器端，并进行解压（跟jdk的上传方式一致）

　　2、使用vim /etc/profile 将hadoop添加到环境变量

　　3、依次修改5个配置文件包括 

             hadoop-env.sh

　　　 

             core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>

   <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop-1:9000</value>
   </property>

   <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
   </property>

   <property>
         <name>hadoop.native.lib</name>
         <value>false</value>
         <description>if loadown native lib, open warn, so set this</description>
   </property>

</configuration>

 

             hdfs-site.xml

<configuration>
<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
</property>

<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
</property>

<property>
    <name>dfs.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>3</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>
</configuration>

 

             mapred-site.xml

<configuration>
<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>
</configuration>

 

             yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
   <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop-1</value>
   </property>

   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>

</configuration>

 

　　4、利用hdfs namenode -format 命令格式化namenode

　　5、启动hadoop, 先启动 sbin/start-dfs.sh; 再启动yarn sbin/start-yarn.sh

　　6、使用jps命令验证hadoop是否启动成功