Eclipse里调试MapReduce程序

Posted 2021-04-19 ITSTAR全球VIP教学服务中心

环境配置

1.安装jdk，并且配置环境变量（建议是安装在非C盘中）。

安装jdk可以参考第一篇文章

2.解压hadoop-2.8.4.tar.gz（在解压过程中不能出现错误或者异常，如果出现异常可以是2345好压解压是ok的）。

安装包：

解压后：

3.配置hadoop的环境变量。

1.控制面板——>系统安全——>系统——>高级系统设置——>环境变量——>新建环境变量

 

2.配置Path使用hadoop的环境变量

 

4.在解压的hadoop的bin目录下需要放置两个文件：winutils.exe和hadoop.dll。

 

Eclipse里添加hadoop的jar

1打开F:hadoop-2.8.4sharehadoop 这个目录可以看见：

 

2.在F:hadoop-2.8.4新建一个_jar目录存放hadoop需要的jar。

3.将common里的hadoop-common-2.8.4.jar和lib目录下的所有的jar复制到_jar目录里。

4.将hdfs里的hadoop-hdfs-2.8.4.jar和lib目录下的所有的jar复制到_jar目录里。

5.将mapreduce下的所有jar和lib目录下的所有的jar复制到_jar目录里。

6.将yarn下的所有jar和lib目录下的所有的jar复制到_jar目录里。

7.打开eclipse选中对应的工程然后按alt+enter出现如下界面。

 

8.点击Java Build Path选择Libraries点击Add Libray...

 

9.选择User Libray然后点击User Libraries...点击New新建一个Libraries

 

10.生成Libraries后点击Add External JARs...选择刚刚新建的_jar目录全选里面的jar添加然后点击Apply And Close，添加jar成功

  

至此，就可以在eclipse中直接测试直接或间接使用到MapReduce的程序了。

获取winutils.exe和hadoop.dll的链接：

https://pan.baidu.com/s/1YzFyo6rzH5BMroOy2FdjwA

提取码回复：“我要提取码”