MR案例 - 成绩分组排行榜

Posted 2023-01-12 howard2005

文章目录

• 一、提出任务
• 二、完成任务
• • （一）准备数据
  • • 1、在虚拟机上创建文本文件
    • 2、上传文件到HDFS指定目录
  • （二）实现步骤
  • • 1、创建Maven项目
    • 2、添加相关依赖
    • 3、创建日志属性文件
    • 4、创建前N成绩映射器类
    • 5、创建前N成绩归并器类
    • 6、创建前N成绩驱动器类
    • 7、启动应用，查看结果

一、提出任务

• 分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。
• 有一组学生成绩数据

张三丰 90
李孟达 85
张三丰 87<