Windows系统Hadoop下载安装

Posted 2023-03-07 mry6

Windows系统Hadoop下载安装

• • Hadoop下载
  • Hadoop安装
  • Hadoop环境配置
  • Hadoop服务启动

Hadoop下载

官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

1. 请求官网下载地址，点击 hadoop-2.7.7 链接
   
2. 点击 hadoop-2.7.7.tar.gz 链接
   
3. 点击下载按钮进行下载
   

Hadoop安装

1. 解压 hadoop-2.7.7.tar.gz
   
2. 解压 hadooponwindows-master.zip
   
3. 使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc

hadooponwindows-master.zip的下载地址：https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw
提取码：y9a4

注意：官网下载Hadoop2.7.7，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK(按相关说法，配置文件中的路径加引号即可解决，但我没测试成功)。

Hadoop环境配置

1. 安装JDK，设置环境变量。
2. 配置HADOOP_HOME
   
   path添加%HADOOP_HOME%\\bin(win10不用分号或者如下编辑界面不用分号，其余加上;)
   
3. Hadoop中配置JDK。
   (1) 使用编辑器打开D:\\ruanjian\\hadoop-2.7.7\\etc\\hadoop\\hadoop-env.cmd
   (2) 修改JAVA_HOME的路径
   把set JAVA_HOME改为jdk的位置
   注意其中PROGRA~1代表Program Files
   set JAVA_HOME=E:\\PROGRA~1\\Java\\jdk1.8.0_171
   此处设置的JDK如下图：
   
4. 在D:\\ruanjian\\hadoop-2.7.7目录下，添加tmp文件夹
   
5. 在D:\\ruanjian\\hadoop-2.7.7目录下，添加data和namenode，datanode子文件夹
   
6. 打开 D:\\ruanjian\\hadoop-2.7.7\\etc\\hadoop\\hdfs-site.xml, 修改路径为hadoop下的namenode和datanode
   
7. 把hadoop.dll 从D:\\ruanjian\\hadoop-2.7.7\\bin拷贝到 C:\\Windows\\System32
   
   
   不然在window平台使用MapReduce测试时报错

Hadoop服务启动

1. 以管理员身份打开命令提示符,输入hdfs namenode -format,看到seccessfully就说明format成功
   
   
2. 进入D:\\ruanjian\\hadoop-2.7.7\\sbin目录下，执行 start-all 命令，启动hadoop集群。
   
3. 出现下面四个窗口表示启动hadoop集群成功
   
   
   
   
4. 输入jps - 可以查看运行的所有节点
   
5. 访问http://localhost:50070,访问hadoop的web界面
   
6. 访问http://localhost:8088,访问yarn的web界面，有就表明已经成功
   
7. 执行stop-all，停止运行所有的节点