基于Windows下eclipse的MapReduce开发环境配置

Posted 2021-03-02

零. 相关文件

链接：https://pan.baidu.com/s/1KmfZlxevk07p-_Aosnsm2w
提取码：df5l

一. MapReduce环境配置

1. 解压hadoop
把hadoop的安装包解压到Windows下(这里的安装包就是你搭hadoop集群时的安装包,我的是hadoop-2.9.2.tar.gz)

2. 配置环境变量
hadoop_home配置

PATH配置

3. 其他

• 我们需要把windows运行Hadoop的一个系统文件放到system32中
  

• 还有一个Windows运行Hadoop的工具执行文件放到{$HADOOP_HOME}\\bin下
  

二. eclipse配置

1. 安装插件
下载插件
将hadoop-eclipse-plugin-2.8.5.jar放到eclipse的插件文件夹内(我用的是SpringToolSuite, 前面的目录可能不太一样)

2. 启动eclipse
检查插件是否运行成功(注意:这里是在Project Explorer查看, 出现DFS Location说明插件运行成功)

3. 配置本地Hadoop所在目录(这里配置自己的目录)

4. 配置远程Hadoop的ip地址与端口号
在window -> show view -> other中找到mapreduce，并进行如下配置

右键 New Hadoop...

如果报错需要在hdfs中创建一个input文件夹：hadoop fs –mkdir /input
我们可以把要分析的文件放到input目录下 hadoop fs –put README.txt /input

三. MapReduce编程

1. 新建java项目
2.导入jar包
直接建一个自己的library，方便统一管理Hadoop相关的jar包，window -> Preferences

这里(hadoop) Library加入的jar包为

• hadoop-2.9.2\\share\\hadoop\\common目录下三个jar包
  

• hadoop-2.9.2\\share\\hadoop\\common\\lib 下所有(69)jar包

• hadoop-2.9.2\\share\\hadoop\\hdfs 下9个jar包
  

• hadoop-2.9.2\\share\\hadoop\\mapreduce 下9个jar包
  

• hadoop-2.9.2\\share\\hadoop\\yarn 下15个jar包
  

把自己建的这个hadoop Library加入项目: 项目右键 -> Properties -> Java Build Path -> Add Library -> User Library -> 勾选自己刚刚新建的hadoop 完成 添加并保存
然后, 就可以进行编程了