hadoop开发环境搭建

Posted 2022-10-22

hadoop2.*以后就没有eclipse插件工具，不能在eclipse上调试代码，需要将写好的java代码MapReduce打包成jar然后在Linux上运行，非常不方便代码调试，以下介绍如何搭建开发环境。

1.软件准备

jdk1.8（已经安装）

eclipse-java-mars-1-linux-gtk-x86_64.tar.gz

hadoop-eclipse-plugin-2.6.0.jar

2.软件下载

eclipse下载

http://eclipse.bluemix.net/packages/mars.1/?JAVA-LINUX64

eclipse插件下载

https://github.com/winghc/hadoop2x-eclipse-plugin

3.安装eclipse

tar zxvf eclipse-java-mars-1-linux-gtk-x86_64.tar.gz
mv eclipse /usr/local/eclipse

在桌面创建快捷方式，具体步骤见下图

选择图标后，点击ok完成，到此eclipse快捷方式创建完成   

4.安装hadoop-eclipse-plugin

将hadoop-eclipse-plugin-2.6.0.jar包拷贝到eclipse的plugins目录下

cp hadoop-eclipse-plugin-2.6.0.jar /usr/local/eclipse/plugins/

5.配置hadoop-eclipse-plugin

启动eclipse

切换 Map/Reduce 开发视图，选择 Window 菜单下选择（Window -> Perspective -> Open Perspective -> Other），弹出一个窗体，从中选择 Map/Reduce 选项即可进行切换 

建立与 Hadoop 集群的连接，点击 Eclipse软件右下角的 Map/Reduce Locations 面板，在面板中单击右键，选择 New Hadoop Location

点击 finish，Map/Reduce Location 就创建好了

6.在hdfs创建输入输出目录

cd /usr/hadoop/bin
hdfs dfs -mkdir -p /user/root/input            #创建输入目录
hdfs dfs -mkdir -p /user/root/output          #创建输出目录

hadoop fs -put file01 /user/root/input          #上传file01文件

7.新建MapReduce项目并运行

在Hadoop的share目录下找到mapreduce的案例WordCount.java,copy过来

cd /usr/hadoop/share/hadoop/mapreduce/sources  

解压以上包，将WordCount.java文件拷贝到项目的src下   

cp WordCount.java /home/hadoop2/workspace-2/Test_MapReduce/src

在运行 MapReduce 程序前,需要将hadoop的相关的配置文件都要拷贝到项目的src目录下（此步骤非常重要）

cp *.* /home/hadoop2/workspace-2/Test_MapReduce/src

 cd /home/hadoop2/workspace-2/Test_MapReduce/src

右键点击刚创建的 WordCount.java，选择 Run As -> Run Configurations

点击run

现在你可以基于eclipse进行MapReduce程序的开发了。