知识学习IDEA开发Hadoop MapReduce程序

Posted 2022-06-27 cls1277

1、首先下载一个Hadoop包，仅Hadoop即可。

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/

2、打开Idea新建一个java项目。

3、项目配置 File ---- Project Structure

（1）首先注意SDK的配置

（2）加入Hadoop的jar包依赖


（3）打包配置

4、开发map-reduce代码

根据自己需求写代码，下面附代码样本。
（1）mapper代码：

（2）reduce代码片断：

（3）run/main代码：

5、配置编译器

右上角：



注意：第三个框里只需添入输入路径和输出路径即可

6、将数据导入到你的程序中

注意：不要创建output目录，系统会自动创建。否则会报目录已存在的错。

7、运行

（1）运行成功：

（2）查看结果

CSDN 社区图书馆，开张营业！ 深读计划，写书评领图书福利~