视频国家工程实验室正式发布针对图像识别的FAT-AI应用竞赛榜单

Posted 2021-04-03 NELIVA视频国家工程实验室

2021年2月3日，视频国家工程实验室正式发布了FAT-AI的最新排行榜，其中包括1:1竞赛第一期排行榜和Re-ID竞赛第二期排行榜。

依托多年来构建的智能视频分析测评体系、专业的测评方法、评价指标、以及亿级实际应用场景数据集和自动化测试系统，视频国家工程实验室继发布FAT2019应用测试结果及关键技术指标行业基线之后，又结合当前重点关注的疫情防控需求组织了NELIVA FAT-AI应用竞赛（简称：FAT-AI）。竞赛的主旨是：打造公正、开放的国家级AI赛道，通过竞赛为创新拓路，为企业赋能，以竞赛带动创新应用，以竞赛促进产业升级。

本期发布的两项竞赛吸引了来自北京、上海、重庆、浙江、广东、山东、福建、四川、山西等地的几十个企业、团体和个人参赛，经过为期一个半月、分期分阶段的专业化测评，绝大部分参赛者都取得了优良的成绩并光荣上榜。特别值得一提的是，本期竞赛还推出了独立的FAT-AI企业排行榜，可以为图像识别算法的市场选型提供参考。

FAT-AI排行榜展示了每位参赛者的算法在竞赛中的历史最佳成绩，最终排名是由每一项独立测评指标的排序值加权得到。排行榜中的每一列代表着不同的测评指标项，具有不同的参考意义。

1:1竞赛评估了真实场景下各参赛者算法在标准照和抓拍照之间比对的精准度。在0.00001低误识率，即每10万次比对只允许出现1次错误通过的条件下，竞赛分别测试了各算法在全体人员、男性、女性这三类不同集合上的正确通过率，并从高到低来排序。最后的排名由这三项排名的加权和决定。榜单中TMR表示全员，TMR_M表示男性，TMR_F表示女性。

1:1竞赛第一期中最优秀的成绩为：

TMR@FMR≤e-5（全员）：0.99103，

TMR_M@FMR≤e-5（男性）：0.99679，

TMR_F@FMR≤e-5（女性）：0.97702。

1:1竞赛第一期排行榜: http://fat.neliva.com.cn/home/top?id=1vs1

Re-ID竞赛第二期评估了真实场景下行人重识别的性能，采用的是当前学术界最流行的mAP、Rank-1指标。Rank-1即首位命中率，表示算法在用查询图片搜索行人底库时，返回的最相似行人ID匹配度。排行榜按照mAP和Rank-1从高到低对各参赛者算法进行排序，并计算排名的加权和，来决定最终的排名；mAP即 mean Average Precision(平均查准率)，反映了算法在用查询图片搜索行人底库时，返回的最相似行人结果列表中，正确ID的排序关系和平均精度。

Re-ID竞赛第二期中最优秀的成绩为：

Rank-1（首位命中率）：0.77176，

mAP（平均查准率）：0.64416。

Re-ID竞赛第二期排行榜: http://fat.neliva.com.cn/home/top?id=Re-id

FAT-AI1:1竞赛第二期将于2021年2月18日至3月18日举办(验证集截止3月8日含），Re-ID竞赛第三期将于2021年2月25日至3月25日举办(验证集截止3月5日含）。此外，针对实际无约束场景，视频国家工程实验室还开展了口罩佩戴条件下的识别等竞赛项目。

扫码浏览一文看懂FAT-AI

扫码加入FAT-AI竞赛群