Hadoop学习笔记HDFS单机版Windows安装

Posted 2021-08-29 500年

Hadoop学习笔记（四）HDFS单机版Windows安装

1、hadoop相关软件下载

1、hadoop下载地址： https://archive.apache.org/dist/hadoop/common/
2、windows系统运行环境winutils 下载地址：https://download.csdn.net/download/Asia1752/20587667
3、jdk下载及安装，详情参看：https://blog.csdn.net/Asia1752/article/details/104505189

2、安装步骤

1、拷贝hadoop文件夹到没有空格的路径下；
2、配置hadoop环境变量：HADOOP_HOME，并将%HADOOP_HOME%\\bin 添加到path中；
3、拷贝winutils文件夹内的bin目录，直接覆盖hadoop内的bin目录；
4、拷贝bin目录下的hadoop.dll文件到系统盘：C:\\Windows\\System32目录下；
5、重启windows系统；

3、环境配置

参考：安装Hadoop(Linux CentOS) 中的第3节 6、配置单节点配置

特别注意hadoop-env.cmd配置

通常情况下，jdk我们会默认安装在C盘Program Files 文件夹下。但这个文件夹中间带有空格。
所以我们需要在配置hadoop-env.cmd中java环境时，进行特殊处理。

具体配置：
打开hadoop的解压文件，hadoop-3.2.0\\etc\\hadoop\\hadoop-env.cmd
修改JAVA_HOME为set JAVA_HOME=C:\\PROGRA~1\\Java\\jdk1.8.0_144

格式化namenode节点，启动hadoop

# 格式化namenode
bin/hdfs namenode -format

# 启动namenode
sbin/start-dfs.sh