实训任务4：Hadoop综合操作

Posted 2023-01-12 howard2005

一、实训目的

• 通过实训，使学生更加熟练掌握HDFS操作和MapReduce编程。

二、实训要求

• 认真完成实训任务，写一篇CSDN博客，记录操作过程。

三、实训任务

1、启动Hadoop服务

• 在master虚拟机上执行命令：start-all.sh

2、创建文本文件

• 在master虚拟机上创建本地文件students.txt

李晓文 女 20
张晓航 男 19
郑小刚 男 21
吴文华 女 18
肖云宇 男 22
陈燕文 女 19
李连杰 男 23
艾晓丽 女 21
童安格 男 18

3、上传文本文件

• 将students.txt上传到HDFS的/student/input目录

4、显示文件内容

• 创建Maven项目DisplayFile，读取/student/input/students.txt文件，将内容显示在控制台
  

5、完成排序任务

• 创建Maven项目SortByAge，利用MapReduce计算框架，处理/student/input/students.txt文件，输出结果按照年龄降序排列
  

6、计算最大利润和平均利润

• 有三个月的利润信息profit.txt

1 10000
1 15000
1 20000
2 2340
2 5640
2 6140
3 15000
3 2380
3 8900

• 创建Maven项目MaxAvgProfit，利用利用MapReduce计算框架，处理profit.txt文件，输出每月最大利润和平均利润