Step by step install and run Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)

Posted yjyyjy

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Step by step install and run Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)相关的知识,希望对你有一定的参考价值。

 视频资料链接:

https://study.163.com/course/courseLearn.htm?courseId=1209974322#/learn/video?lessonId=1280760188&courseId=1209974322

1. Java

  • Java 安装自选目录, 必须是中间不带空格的目录结构:比如 C:\\java64 
  • 安装完成后,使用“java -version”命令在命令行中确认运行了正确的版本

  

C:\\Users>java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

 

2. WinRAR/7-ZIP

 

3. Hadoop

  • 解压并将文件夹名重命名为hadoop,并将其放在C:\\Learning
  • 目录名字中间不要有空格(因为Hadoop初始开发基于linux, linux 文件名字不能有空格)。

 

3. 1 Setup Environmental Variables

 

 

添加以下目录到path变量:

 

 

 

3.2 Edit Hadoop Configuration

注意:如果你不想自己配置下面 3.2 过程, 除了3.2.3 其它的步骤可以忽略, 那么下载下面链接(bin data etc)文件夹放到你的hadoop目录下覆盖(https://github.com/yjy24/bigdata_learning ), 然后从3.2.3 开始继续!

 

3.2.1 新建data 目录和子目录 

  • c:/Learning/hadoop/data
  • c:/Learning/hadoop/data/namenode
  • c:/Learning/hadoop/data/datanode

 

3.2.2 修改 Hadoop 配置文件

  • HDFS服务地址
a) C:\\Learning\\hadoop\\etc\\hadoop\\core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

 

  •  加入如下内容到mapreduce 框架设置文件
b)  C:\\Learning\\hadoop\\etc\\hadoop\\mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

 

  • 添加namenode 和 datanode 目录设置
c) C:\\Learning\\hadoop\\etc\\hadoop\\hdfs-site.xml

<configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
      <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///Learning/hadoop/data/namenode</value>
  </property>
      <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///Learning/hadoop/data/datanode</value>
  </property>
</configuration>

 

  •  添加如下内容到Yarn配置文件
D:\\Learning\\hadoop\\etc\\hadoop\\yarn-site.xml

<configuration>
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>0.0.0.0</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///c:/Learning/hadoop/tmp</value>
    </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

</configuration>

 

  • 设置 JAVA_HOME 目录到 hadoop-env.cmd. 文件第一行。
 
e) C:\\Learning\\hadoop\\etc\\hadoop\\hadoop-env.cmd
显性设置JAVA_HOME
set JAVA_HOME=C:\\java64

 

3.2.3 下载配置Windows 环境需要的库文件

  • 2. 把 winutils.exe 等 windows 需要的文件放到 C:\\Learning\\hadoop\\bin 下面。
    下载 https://github.com/yjy24/bigdata_learning 下面的bin 直接覆盖C:\\Learning\\hadoop\\bin。 
  • 3. 把里面的 hadoop.dll  拷贝到 C:\\Windows\\System32 一份

 

3.3 启动Hadoop 

3.3.1 格式化 Hadoop namenode:

>hdfs namenode -format
 Log on scren when run successfully:
20/04/19 10:40:13 INFO common.Storage: Storage directory \\Learning\\hadoop\\data\\namenode has been successfully formatted.
20/04/19 10:40:13 INFO namenode.FSImageFormatProtobuf: Saving image file \\Learning\\hadoop\\data\\namenode\\current\\fsimage.ckpt_0000000000000000000 using no compression
20/04/19 10:40:13 INFO namenode.FSImageFormatProtobuf: Image file \\Learning\\hadoop\\data\\namenode\\current\\fsimage.ckpt_0000000000000000000 of size 320 bytes saved in 0 seconds .
20/04/19 10:40:13 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
20/04/19 10:40:13 INFO namenode.NameNode: SHUTDOWN_MSG:

 

 

3.3.2 启动 Hadoop 所有的服务:

  • 要用管理员身份运行,四个service窗口会打开运行, 包括HDFS 的数据节点 和 Yarn 管理器服务进程 
C:\\Learning\\hadoop\\sbin\\start-all.cmd   

 

3.4 Open Hadoop GUI

                                   

 

以上是关于Step by step install and run Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)的主要内容,如果未能解决你的问题,请参考以下文章

step by step to OpenFOAM:step1

Distributed Systems: When you should build them, and how to scale. A step-by-step guide.

Building QGIS from source - step by step(随笔3)

Install Terraform on Windows, Linux and Mac OS

Microsoft SQL Server 2008 MDX Step by Step中关于MDX Step-by-Step.abf损坏文件的处理

斑马难题Step by Step