怎么在windows上搭建hadoop环境

Posted 2023-02-24

1、下载安装JDK，以及Eclipse

具体看此链接：http://blog.csdn.net/weixuehao/article/details/17715793

2、新建JAVA Project

3、去cloudera网站下载hadoop的CDH3u6版本。将起解压到win7的某个目录

4、选中OperateHDFS，右击，选择“property”，弹出右侧的窗口；

选择“Java Build Path” —— “Libraries” —— Add External Jars

5、到上面的画面后，下面就是选择开发hadoop程序时，用到的一些jar包

将lib文件夹下的所有的jar包，添加进去；将红框内的jar包，安装进去。

6、创建配置文件夹

7、将core-site.xml,hdfs-site.xml,mapred-site.xml放入到此文件夹中。

8、右键->属性 进行如下操作，添加刚刚创建conf文件夹

配置搞定！

写代码的过程中要写入的namenode和jobtracker地址(修改为你自己的)

在你的代码中，加入如下代码就可以了

Configuration conf = new Configuration()；
conf.set("fs.default.name","192.1.1.2:9000");
conf.set("mapred.job.tracker","192.1.1.2:9001"); 参考技术A Hadoop三种安装模式：单机模式，伪分布式，真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。