Hadoop 2.6+ 在windows 平台的搭建

Posted 2021-04-13 全栈思想小栈

“ Failed to locate the winutils binary in the hadoop binary path
java.io.IOException:Could not locate executablenullinwinutils.exe in the Hadoop binaries.”

  找了下度娘，说是缺少 winutils.exe造成的。要找到对应Windows下运行的支持插件。 

So，重新整理了下 Windows下hadoop环境配置的方式。

1.hadoop 安装包下载

推荐官网 http://hadoop.apache.org/releases.html

2.添加Hadoop bin的路径

Path

3.下载winutils 类库

推荐 https://github.com/wentaodnng/winutils
根据你下载的hadoop选择对应的类库，下载完了把里面所有的dll等文件都覆盖到hadoop目录的bin子目录下即可。

4.hadoop 配置

在hadoop目录下的etc/hadoop下，找到 hadoop-env.cmd，修改 java_home 如图：

注意，路径下不要包含空格

5.配置core-site.xml

etchadoopcore-site.xml 添加

 <configuration>
    <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
    </property>
 </configuration>

6.配置hdfs-site.xml

etchadoophdfs-site.xml

<configuration>
    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
    <property>
       <name>dfs.namenode.name.dir</name> 
       <value>
         file:/hadoop/data/dfs/namenode
       </value>
    </property>
    <property>
       <name>dfs.datanode.data.dir</name>
       <value>
          file:/hadoop/data/dfs/datanode
       </value>
    </property>
</configuration>  

7. 配置mapred-site.xml

mapred-site.xml.template去掉template后缀

<configuration>       
   <property> 
      <name>mapreduce.framework.name</name>
      <value>yarn</value> 
   </property> 
</configuration>      

8.配置yarn-site.xml

etchadoopyarn-site.xml

<configuration> 
   <property> 
      <name>yarn.nodemanager.aux-services</name>
      <value>
         mapreduce_shuffle
      </value>
   </property>
   <property>
      <name>
         yarn.nodemanager.aux-services.mapreduce.shuffle.class
      </name>
      <value>
         org.apache.hadoop.mapred.ShuffleHandler
      </value>
   </property>
</configuration>

9.运行 hadoop

预先格式化 hdfs

启动

查看 hadoop 运行状态 http://localhost:8088/

http://localhost:50070/

---

长按关注 全栈思想小栈