MapReduce计数器

Posted 2020-09-11 fcyh

　　　　　　　　　　MapReduce计数器

 

计数器输出

运行完毕作业之后的计数器输出

内置计数器

Hadoop为每个作业提供了若干内置计数器，用以描述各项指标。

文件系统计数器

所属类：org.apache.hadoop.mapreduce.FileSystemCounter

BYTES_READ：文件系统读取的字节数

BYTES_WRITTEN：文件系统写的字节数

FileInputFormat任务计数器

所属类：org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter

BYTES_READ：map任务通过FileInputFormat读取的字节数

FileOutputFormat任务计数器

BYTES_WRITTEN：由map任务或者reduce任务通过FileOutputFormat写的字节数

作业计数器

所属类：org.apache.hadoop.mapreduce.JobCounter

TOTAL_LAUNCHED_MAPS：启动的map任务数(推测执行启动的任务，以下也是)

TOTAL_LAUNCHED_REDUCES：启动的reduce任务数

TOTAL_LAUNCHED_UBERTASKS：启动的uber任务数

NUM_UBER_SUBMAPS：uber任务中的map任务数

NUM_UBER_SUBREDUCES：uber中reduce任务数

NUM_FAILED_MAPS：失败的map数

NUM_FAILED_REDUCES：失败的reduce数

NUM_FAILED_UBERTASKS：失败的uber任务数

DATA_LOCAL_MAPS：数据本地化的map数，即与输入数据在同一节点的map数

RACK_LOCAL_MAPS：与输入数据在同一机架上的map数，但不在同一节点

OTHER_LOCAL_MAPS：与输入数据不在同一机架上的map数

SLOTS_MILLIS_MAPS：map任务运行的总时间

SLOTS_MILLIS_REDUCES：reduce任务运行的总时间

MapReduce任务计数器

MAP_INPUT_REDORDS：map输入的记录数

MAP_SKIPPED_RECORDS：map跳过的记录数

MAP_INPUT_BYTES：map输入的字节数

SPLIT_RAW_BYTES：分片的原始字节数

MAP_OUTPUT_RECORDS：map输出的记录数

MAP_OUTPUT_BYTES：map输出的字节数

MAP_OUTPUT_MATERIALIZED_BYTES：map输出后写到磁盘上的字节数

COMBINER_INPUT_RECORDS：作业中combiner已经处理输入的记录数

COMBINER_OUPUT_REDORDS：作业中combiner已产生输出的记录数

REDUCE_INPUT_GROUPS：reduce输入的组，即每当reduce()被调用

REDUCE_INPUT_RECORDS：作业中reduce已经处理的输入记录个数

REDUCE_OUTPUT_RECORDS：reduce输出的记录数

REDUCE_SKIPPED_RECORDS：reduce跳过的组数

REDUCE_SHUFFLER_BYTES：shuffle中将map输出数据复制到reduce中的字节数

SPILLED_RECORDS：作业中map和reduce任务溢出到磁盘的记录数

CPU_MILLISECONDS：总计的cpu时间

PHYSICAL_MEMORY_BYTES：一个任务所用的物理内存字节数

VIRTUAL_MEMORY_BYTES：一个任务所使用的虚拟内存字节数

COMMITTED_HEAP_BYTES：JVM中总有效内存量

GC_TIME_MILLIS：GC运行时间毫秒数

SHUFFLED_MAPS：由shuffle传输的map数

FAILED_SHUFFLE：失败的shuffle数

MERGED_MAP_OUTPUTS：被合并的map输出数

自定义计数器

自定义计数器，计数器的值可以在mapper或reducer中增加，计数器由一个Java枚举(enum)类型定义

 

[java] view plain copy

 

 print?

1. enum Temperature{  
2.     MISSING,  
3.     TOTAL  
4. }  

在map或者reduce中使用计数器

 

 

[java] view plain copy

 

 print?

1. context.getCounter(Temperature.TOTAL).increment(1);  

 

 

获取计数器

 

[java] view plain copy

 

 print?

1. Counters counters = job.getCounters();  
2. long total = counters.findCounter(MaxTemperature.Temperature.TOTAL).getValue();//获取自定义计数器  
3. long mpas = counters.findCounter(TaskCounter.MAP_INPUT_RECORDS).getValue(); //获取内置计数器