Windows平台安装及配置Hadoop(不借助cygwin)

Posted 2020-11-02 忘了雪是冷的

由于项目需要，我在VMware上装了几个虚拟机Windows server 2012 R2，并要搭建Hadoop集群。刚刚入门hadoop，一头雾水，然后开始搜各种教程，首先是选用cygwin进行安装，但是呢，后来出现一堆问题，然后放弃。最终选择直接在Windows server 2012 R2上安装配置Hadoop，在这里非常感谢博友教程，地址是https://blog.csdn.net/antgan/article/details/52067441，基本是按照这个教程来的，主要说下我踩得坑吧。

整个流程是：

JDK安装及环境变量配置（这个教程很多自己搜吧）

下载hadoop2.5.2.tar.gz 并解压，配置hadoop环境变量，修改hadoop配置文件，我的是直接放到C目录下，即C:\\hadoop-2.5.2

其文件目录为

 

下载hadooponwindows-master.zip 并解压，将bin目录替换原来hadoop目录下的bin目录即可

运行环境：运行cmd，窗口起到C:\\hadoop-2.5.2\\bin下，执行“hdfs namenode -format”命令，这里开始报错，

跟hdfs-site.xml文件相关，  异常： 2 字节的 UTF-8 序列的字节 2 无效

<?xml version="1.0" encoding="UTF-8"?>  

直接将UTF-8改为UTF8，即

<?xml version="1.0" encoding="UTF8"?>  

重新运行cmd，首先应将上次格式化生成的logs目录下的文件及workplace目录下生成的文件删除，注意只删除目录下文件，不删除文件目录。窗口起到C:\\hadoop-2.5.2\\bin下，执行“hdfs namenode -format”命令，不在报错

cmd窗口转换到sbin下，执行“start-all.cmd”命令，弹出以下四个窗口，

 

紧接着在sbin下，执行“jps”命令，得到以下结果：

 

到这一步hadoop服务搭建完毕。

按照上文博友教程进行上传测试，操作HDFS，注意在Hadoop服务开启的状态下，再另打开一个cmd窗口，执行以下操作：

首先创建输入目录：

 

 

上传数据到目录：

 

然后查看文件：