Win10 下 hadoop3.0.0 单机部署

Posted ITryagain

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Win10 下 hadoop3.0.0 单机部署相关的知识,希望对你有一定的参考价值。

前言

因近期要做 hadoop 有关的项目,需配置 hadoop 环境,简单起见就准备进行单机部署,方便开发调试。顺便记录下采坑步骤,方便碰到同样问题的朋友们。

安装步骤

一、下载 hadoop-XXX.tar.gz

下载地址:http://archive.apache.org/dist/hadoop/core/

将文件解压至无空格目录下,好像时间有那么点点久。。。。。

注:解压需管理员权限!!!

添加环境变量

添加HADOOP_HOME配置

在 path 中添加 bin 目录 C:\\hadoop-3.0.0\\bin

JAVA_HOME

 

二、hadoop配置

1、修改C:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration>
<property>
    <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/C:/hadoop-3.0.0/data/tmp</value>
 </property>
</configuration>

2、修改C:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

3、在C:/hadoop-3.0.0目录下创建data目录,作为数据存储路径:

  • 在D:/hadoop-3.0.0/data目录下创建datanode目录;
  • 在D:/hadoop-3.0.0/data目录下创建namenode目录;

4、修改C:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

<configuration>
    <!-- 这个参数设置为1,因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/C:/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/C:/hadoop-3.0.0/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/C:/hadoop-3.0.0/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/C:/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

5、修改C:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

6、修改C:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置,添加

set JAVA_HOME=%JAVA_HOME%

set
HADOOP_PREFIX=%HADOOP_HOME% set HADOOP_CONF_DIR=%HADOOP_PREFIX%\\etc\\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%\\bin

7、bin目录替换

https://github.com/steveloughran/winutils下载解压,然后找到对应的版本后完整替换bin目录即可

至此,我们的配置就完成了

三、启动服务

1、打开cmd

cd C:\\hadoop-3.0.0\\bin

hdfs namenode -format

2、通过start-all.cmd启动服务:

C:\\hadoop-3.0.0\\sbin\\start-all.cmd

然后可以看到同时打开了4个cmd窗口

  • Hadoop Namenode
  • Hadoop datanode
  • YARN Resourc Manager
  • YARN Node Manager 

通过http://127.0.0.1:8088/即可查看集群所有节点状态:

 

访问http://localhost:9870/即可查看文件管理页面:

 

总结

一次还算比较顺利的采坑,后面准备开始肝项目了 orz。。。

 

以上是关于Win10 下 hadoop3.0.0 单机部署的主要内容,如果未能解决你的问题,请参考以下文章

Minikube之Win10单机部署

超详细!CentOS 7 + Hadoop3.0.0 搭建伪分布式集群

WIN10下安装HBASE教程

hadoop3.0.0 分布式集群安装过程

centos7下hadoop3.0搭建文档

centos7下hadoop3.0搭建文档