在Eclipse下搭建Hadoop开发环境

Posted 2021-02-18 徐不疾

为了方便远程提交代码运行，我们在Eclipse下搭建Hadoop开发环境。

1.JDK安装配置

首先得先安装并配置好JDK，然后下载安装Eclipse。这一部分不做过多介绍，使用java这一步应该都已经达成，接下来开始对Hadoop开发环境进行搭建。

2.Hadoop插件安装和配置

Eclipse —> Windows —> Preferences

 

 

 

要安装Hadoop插件的话得先知道所安装的Hadoop版本，在虚拟机中进行查看。

输入如下命令可查看：

CD $HADOOP_HOME

hadoop version

我的插件版本是：hadoop-eclipse-plugin-2.7.4

下载完成之后，将其放到你所安装的Eclipse目录下的dropins文件下。(注：因为版本不同，如果无效，可以放到plugins下再试试)

 

 

 

 

 

 

 

重启，再次进入Windows —> Preferences,可看到已经成功安装好了Hadoop插件，接下来对其进行配置。

 

 

 

　点击Hadoop Map/Reduce选项，进入配置页面，点击Browse，选择Hadoop安装路径（能够看到bin文件夹的路径）填入其中。(注：你需要把虚拟机中安装的Hadoop版本，在这个提交代码的机器上解压存放好，配置插件的时候需要调用，此处输入相关路径，实质上只有bin目录内容有用)

 

 

 

 

3. 配置环境变量

从桌面电脑图标右键进入“属性”界面，选择“高级系统配置”，选择“环境变量”，然后选择“系统变量”下的新建，添加一个HADOOP_HOME的变量，变量值为HADOOP安装路径（能够看到bin文件夹的路径）

 

 接下来，往系统变量Path里追加“；HADOOP_HOME\\bin”（注意，WIN7需要自己输入分号）：

 

 

 

4. 配置Map/Reduce Locations　

Windows—> show view —> Other，选择MapReduce Tools下的Map/Reduce Locations。

 

 

 

 

点击下图右上角位置的小象，进入配置页面。

 

 

 

 

　其中，Location name自定义一个名字就行，配置Map/Reduce Master和DFS Mastrer，Host和Port配置成与core-site.xml的设置一致即可（Host为hadoop节点的IP地址，DFS Mastrer下的port为HDFS端口号，User name为安装Hadoop节点用户名称）。

5. 测试

　在虚拟机中启动集群

　点击Eclipse右上角的小象图标，然后就可以看到Hadoop节点的信息了。

　此时，在虚拟机中用Shell命令的形式可以对Hadoop进行管理，比如新建目录、文件、上传和下载等操作和在Eclipse下的可视化操作都是同步的了（如果没有同步请先右键点击refresh刷新一下），也就是说可以同步对Hadoop进行管理和开发。