Map-Reduce Logs on Hive-Tez
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Map-Reduce Logs on Hive-Tez相关的知识,希望对你有一定的参考价值。
我希望在Hive-Tez上运行查询后获得Map-Reduce日志的解释? INFO之后的界限是什么?在这里,我附上了一个样本
INFO : Session is already open
INFO : Dag name: SELECT a.Model...)
INFO : Tez session was closed. Reopening...
INFO : Session re-established.
INFO :
INFO : Status: Running (Executing on YARN cluster with App id application_14708112341234_1234)
INFO : Map 1: -/- Map 3: -/- Map 4: -/- Map 7: -/- Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13
INFO : Map 1: -/- Map 3: 0/118 Map 4: 0/118 Map 7: 0/1 Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13
INFO : Map 1: 0/118 Map 3: 0/118 Map 4: 0/118 Map 7: 0/1 Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13
INFO : Map 1: 0/118 Map 3: 0/118 Map 4: 0(+5)/118 Map 7: 0/1 Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13
INFO : Map 1: 0/118 Map 3: 0(+5)/118 Map 4: 0(+7)/118 Map 7: 0(+1)/1 Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13
INFO : Map 1: 0/118 Map 3: 0(+15)/118 Map 4: 0(+18)/118 Map 7: 0(+1)/1 Reducer 2: 0/15 Reducer 5: 0/26 Reducer 6: 0/13
答案
您发布的日志是DAG执行日志。 DAG由Map 1,Map 3,Map 4,Map 7 mappers顶点和Reducer组成:Reducer 2,Reducer 5,Reducer 6
Map 1: -/-
- 这意味着顶点未初始化,映射器的数量尚未计算。
Map 4: 0(+7)/118
- 这意味着总共有118个映射器,其中7个并行运行,0个已完成,118-7 = 111正在等待。
Reducer 2: 0/15
- 这意味着总共有15个减速器,其中0个正在运行,其中0个已完成(15个减速器待定)。
负数(在您的示例中没有这样的数字)=失败或杀死的映射器或缩减器的数量
以上是关于Map-Reduce Logs on Hive-Tez的主要内容,如果未能解决你的问题,请参考以下文章
在安装 ESXi 时发现一个问题。 报错的内容:cpu1:2658 Logs are stored on non-persi
kafka.common.KafkaException: Failed to acquire lock on file .lock in /tmp/kafka-logs. A Kafka instan