如何计算mAP

Posted 2023-05-05

参考技术A mAP: mean Average Precision, 即各类别AP的平均值

AP: PR曲线下面积，其实是在0～1之间所有recall值的precision的平均值。

PR曲线: Precision-Recall曲线

Precision: TP / (TP + FP)

Recall: TP / (TP + FN)

Precision-Recall曲线，简称P-R曲线，其横轴是召回率，纵轴是精确率。

要计算mAP必须先绘出各类别PR曲线，计算出AP。

1）积分求解
由于每个图片计算出来的P-R很大可能不是一条连续的曲线，如果使用积分的方式计算会造成和多问题

2）插值求解

但通常情况下都是使用估算或者插值的方式计算：

（1）估算计算方式approximated average precision

（2）插值计算方式Interpolated average precision

（3）插值方式进一步演变

1）11-point interpolation（VOC07，10之前）

11-point interpolation通过平均一组11个等间距的Recall值[0,0.1,0.2，...，1]对应的Precision来绘制P-R曲线.

计算precision时采用一种插值方法（interpolate），即对于某个recall值r，precision值取所有recall>=r中的最大值（这样保证了p-r曲线是单调递减的，避免曲线出现抖动）

2）Interpolating all points（VOC10之后）

不再是对召回率在[0,1]之间的均匀分布的11个点，而是对每个不同的recall值都计算一个ρinterp(r)，然后求平均，r取recall>=r+1的最大precision值。

hive如何调整map数和reduce数

参考技术A

一般情况下，启动一个hive任务时hive会计算这个任务需要用到的map和reduce数量，通常map数和reduce数不需要调整。但是有时如果map或reduce的计算很复杂、单个map的执行时间很长，且hive分配的map数或reduce比较少，集群还有大量计算资源没有利用的情况下，可以通过增大map数或reduce数，来提高任务并发，缩短任务计算时长，提高计算效率。

InputFormat 接口按照某个策略将输入数据且分成若干个 split，以便确定 Map Task 的个数即 Mapper 的个数，在 MapReduce 框架中，一个 split 就意味着需要一个 Map Task;

当 hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat 时，hive会先计算splitSize ，然后通过splitSize、任务输入的数据量大小和文件数来共同决定split数量，即map数。
splitSize = maxminSize,mingoalSize,blockSize
其中

由上公式可知，在 org.apache.hadoop.hive.ql.io.HiveInputFormat 接口下，主要是 mapreduce.input.fileinputformat.split.minsize 和 mapreduce.job.maps 来决定map数

当 hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat 时，主要是如下四个参数起作用：

tez on mr模式下reduce数主要受如下两个参数影响：

reducer数 = min(hive.exec.reducers.max,max(1,totalsize/hive.exec.reducers.bytes.per.reducer))

在运行hive on tez时会发现跟hive on mr的map数差异会比较大，主要原因在于 Tez 中对 inputSplit 做了 grouping 操作，将多个 inputSplit 组合成更少的 groups，然后为每个 group 生成一个 mapper 任务，而不是为每个inputSplit 生成一个mapper 任务。
可以通过调整如下参数来调整grouping数：

tez on tez模式下reduce数主要受如下两个参数影响：

reducer数 = Max(1, Min(hive.exec.reducers.max, ReducerStage estimate/hive.exec.reducers.bytes.per.reducer))x hive.tez.max.partition.factor

hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
上面参数会在任务结束后，如果任务生成的小文件触发了 hive.merge.smallfiles.avgsize= 会另外再启reduce任务来合并小文件。

如果往分桶表里插入数据，由于hdfs最终会每个桶一个文件，因此在当分桶表设置了多少个桶，最终就会生成多少个reduce任务

有的文件格式并不支持切分，如果hive表的存储的文件格式不支持切分，则在查询该表时，有多少文件就会产生多少map任务。例如，存储格式是text，但是采用了gzip压缩，这种情况下则不支持切分，读表数据时，该表对应的存储目录下有多少个文件就会生成多少个map任务， 每个map任务处理一个文件的数据 。

map数和reduce数并非越多越好，需要综合多少情况来考虑

一般情况下不需要调整map数和reduce数，当单个map执行时间过长时，且map数不多的情况下，就需要通过调整map数，通过提高map数，提高并发来缩短单个map的执行时间，从而缩短整合任务的计算时间。同样reduce阶段单个reduce处理数据量很大，耗时比较长时，而分配的reduce数不多的情况下，也可以通过提高reduce数来减少每个reudce的计算时长。
那单个map执行多少时间为宜： 根据在大数据集群上的实践经验， 单个map宜在1-2分钟执行完是比较好 ，如果单个map执行时间太短，会消耗比较多的时间在申请集群资源和初始化资源阶段，反倒影响整体任务效率；如果单个map执行时间太长，长时间占用集群资源，不能及时释放资源，导致其他任务长时间等待，不利于集群计算资源的合理利用。
同样，reduce任务阶段，一般执行会比较长，因此reduce阶段不reduce数不宜太多，一般不超过集群cores数的50%，太多会占用大量集群资源，导致其他任务获取不到资源而排队，同时也会生成过多的文件。