Win10下Hadoop3.2.1的安装与配置

Posted 2022-08-29 程序员超时空

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Win10下Hadoop3.2.1的安装与配置相关的知识，希望对你有一定的参考价值。

自己一边装一边写的笔记，有问题欢迎指正鸭 ~

安装配置Hadoop的前提是已经在主机中安装并配置好JDK，没有安装配置的小伙伴可以参考：

https://blog.csdn.net/weixin_44584095/article/details/86563763

1、下载解压

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/

选择下方第二个：

完成后如下，解压到自己指定的位置（我直接解压到了c盘）：

2、bin文件缺少文件补充

看一下自己的bin文件里是否有hadoop.dll,以及winutils.exe，没有就去下载对应Hadoop版本的bin文件后添加：

下载地址：https://github.com/cdarlint/winutils

3、设置环境变量

首先设置名为HADOOP_HOME的系统变量（点击新建），路径名为刚刚解压到的位置，注意标黄处。

然后添加Path，双击Path进入编辑环境变量，新建一个环境变量，将Hadoop下bin的位置写入，注意标黄处。

4、配置Hadoop

在Hadoop的根目录下创建文件夹data，然后在其下创建两个子文件夹datanode和namenode：

确认…/etc/hadoop/core-site.xml文件有如下代码，没有手动添加：

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

确认…/etc/hadoop/mapred-site.xml文件中有如下代码，没有手动添加：

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

确认…/etc/hadoop/hdfs-site.xml文件中有如下代码，没有手动添加（黄色部分的地址用刚刚自己添加的namenode和datanode的地址代替）：

<configuration>
  <property>
        <name>dfs.replication</name>
        <value>1</value>
   </property>
   <property>
        <name>dfs.namenode.name.dir</name>
        <value>C:hadoop-3.2.1data
amenode</value>
   </property>
   <property>
        <name>dfs.datanode.data.dir</name>
        <value>C:hadoop-3.2.1datadatanode</value>
   </property>
</configuration>

确认…/etc/hadoop/yarn-site.xml文件中有如下代码，没有手动添加：

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>