每个Mapper执行的任务

Posted 2021-04-20

我有一个有多个连接的SQL。

2017-12-28 05:15:53,140 Map 1: 15/15    Map 6: 9/9  Map 7: 29/29    Map 8: 198(+2)/200  Map 9: 1/1  Reducer 2: 1/1  Reducer 3: 0(+1)/1  Reducer 4: 0(+3)/3  Reducer 5: 0(+11)/11

上面是日志中最近几个小时运行的行。我如何检查8正在做什么地图以及为什么2个地图制作者花了这么长时间

map 8: 198(+2)/200

关于每个映射器在tez中做什么的任何想法都会有所帮助。

答案

我建议你看看DAG图形视图/顶点计数器并进行分析。您将获得有关顶点花费这么长时间的原因的一些见解。