深入理解与应用Hadoop中的MapReduce

Posted 2021-04-13 CSDN云计算

戳蓝字“CSDN云计算”关注我们哦！

 

来源：CSDN 

原文：

https://blog.csdn.net/a2011480169/article/details/52924955 

版权声明：本文为博主原创文章，转载请附上博文链接！

现在大数据是越来越火了，而我自己研究这方面也很长时间了，今天就根据我自己的经验教会大家学会如何使用MapReduce，下文中将MapReduce简写为MR。

本篇博客将结合实际案例来具体说明MR的每一个知识点。

1、本篇博客核心内容

2、MR的基本概念

3、MR中map函数和reduce函数如何编写

4、MR程序的基本编写流程(MR的基本执行过程)

下面将用一个具体的电信业务说明MR最基本的编写过程：
实验所用数据:

具体字段描述:

业务要求:统计同一个用户的上行总流量和，下行总流量和以及上下总流量和
例如：

代码示例：

运行结果：

5、MR程序的优化方式1---分区

具体业务描述：对于上面的电信数据，统计同一个用户的上行总流量和，下行总流量和以及上下总流量和，并且手机号(11位)的信息输出到一个文件中，非手机号(8位)的信息输出到一个文件中

代码示例

运行结果：

6、MR程序的优化方式2---自定义排序

业务描述:
对于上面业务得到的统计结果:

---

先按照总流量由低到高排序，在总流量相同的情况下，按照下行流量和从低到高排序:

实例代码:

运行结果:

7、MR程序的优化方式3---本地归并Combine

具体业务描述：对于上面的电信数据，统计同一个用户的上行总流量和，下行总流量和以及上下总流量和，代码中要求加入本地归并优化方式:
代码示例：

运行结果：

8、MR程序的优化方式4---自定义计数器

9、如何用MR实现某个业务的方式总结

1.微信群：

添加小编微信：color_ld，备注“进群+姓名+公司职位”即可，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！

2.征稿：

推荐阅读

• 
  

• 
  

• 
  

点击“阅读原文”，查看原文

喜欢就点击“好看”吧！