win系统下的eclipse连接和使用linux上的hadoop集群

Posted 2020-09-23 brucemengbm

准备工作

先在win系统的hosts文件中加入下面内容

10.61.6.164master     //hadoop集群的master节点

一、首先在eclipse上安装hadoop插件

下载hadoop-eclipse-plugin-1.1.2.jar。将其复制到eclipse 安装文件夹下的plugins，再启动eclispe。这时在eclipse的File/New/other下会看到一下的内容，证明插件成功安装

二、在Window/show view/other里打开Map/Reduce Locations

打开后会有下图所看到的的窗体。点击右側的紫色小象

会弹出下图所看到的的窗体

然后配置你的连接信息：

Location name：自己能够定义为不论什么名字

Host：是你的hadoop集群的master节点的ip地址

Port：必需按上图配置，当然假设你配置hadoop集群时将默认port换了，此处则为你自己改动的port号

配置完以后会在左側文件夹栏里看到

三、配置程序执行參数(你的项目必需是mapreduce项目，而且已经加入hadoop里的全部jar包）

先在你的项目下建立一个in文件夹，并将data数据文件复制到当中，再将你的项目导出问jar文件。然后在你的项目的main函数里加入下面代码

conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改

右击你的项目。选择Run as/Run Configurations  

点击Arguments

在里面加入上图中的内容

Lee 文件在HDFS上的存储路径<dfs_path>

in/data 输入文件（本地路径）<input>

3 项集的大小k

1 支持度阈值<spt_dg>

out 输出文件<本地路径><output>

点击ok你的项目就可以连接和使用你的hadoop集群了