计算最终地图中的总行数减少hadoop中的输出

Posted 2021-04-20

目前我的num reduce任务设置为job.setNumReduceTasks(100);

所以我的最终输出目录在S3中，如下所示

/output/part-r-00000.gz
/output/part-r-00001.gz
... etc

为了计算我必须手动下载和解压缩所有文件的所有行，并通过每个文件来计算总行数。

在hadoop上下文中是否存在总线度量存储？

答案

Map Reduce应用程序日志存储map和reduce任务的计数器。对于所有减速器，如果您查看作业日志（计数器准确），“减少输出记录”之类的东西应该为您提供所需的信息。然而，这是HDP平台，其中RM UI具有作业计数器部分中的所有信息。