第3节 mapreduce高级：23课程大纲&共同好友求取步骤二

Posted 2022-01-13 mediocreworld

第五天课程大纲：
1、社交粉丝的数据分析：求共同好友
2、倒排索引的建立
3、自定义inputFormat合并小文件
4、自定义outputformat
5、分组求topN
6、MapReduce的其他补充 了解
7、mapreduce的参数优化 理解
8、yarn的资源调度管理

例子1：社交粉丝数据分析

逻辑分析

以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的，即A的好友列表中有B，但B可能把A删除了）

A:B,C,D,F,E,O

B:A,C,E,K

C:F,A,D,I

D:A,E,F,L

E:B,C,D,M,L

F:A,B,C,D,E,O,M

G:A,C,D,E,F

H:A,C,D,E,O

I:A,O

J:B,O

K:A,C,D

L:D,E,F

M:E,F,G

O:A,H,I,J

求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？

解题思路：

第一步  map 读一行   A:B,C,D,F,E,O 输出    <B,A><C,A><D,A><F,A><E,A><O,A> 在读一行   B:A,C,E,K 输出   <A,B><C,B><E,B><K,B>     REDUCE 拿到的数据比如<C,A><C,B><C,E><C,F><C,G>...... 输出：  <A-B,C> <A-E,C> <A-F,C> <A-G,C> <B-E,C> <B-F,C>.....   第二步 map 读入一行<A-B,C> 直接输出<A-B,C>   reduce 读入数据  <A-B,C><A-B,F><A-B,G>....... 输出： A-B  C,F,G,.....

代码：