针对图像识别的FAT-AI应用竞赛最新结果及排行榜

Posted 2021-04-03 中国安防协会

为推动我国公共安全领域视频智能化建设应用水平不断提升，视频国家工程实验室自2020年底起组织了NELIVA FAT-AI应用竞赛。竞赛在线上进行，结合疫情防控专题，陆续开展了实际无约束场景下的Re-ID行人再识别、1:1验证、口罩佩戴条件下的图像识别等竞赛项目。竞赛将长期举办，每期公布排行榜。本文阐述了1:1竞赛和Re-ID竞赛的最新成绩和排行榜。

 

引言

 

依托多年来构建的智能视频分析测评体系、专业的测评方法、评价指标以及亿级实际应用场景数据集和自动化测试系统，视频国家工程实验室继发布FAT2019应用测试结果及关键技术指标行业基线之后，又结合当前重点关注的疫情防控需求组织了NELIVA FAT-AI应用竞赛（简称：FAT-AI）。竞赛的主旨是：打造公正、开放的国家级AI赛道，推动我国公共安全领域视频智能化建设应用水平不断提升，通过竞赛为创新拓路，为企业赋能，以竞赛带动创新应用，以竞赛促进产业升级。本竞赛长期举办，每期公布排行榜。

 

2021年2月3日，视频国家工程实验室发布了FAT-AI最新排行榜，包括1:1竞赛第一期排行榜和Re-ID竞赛第二期排行榜。本次竞赛吸引了来自北京、上海、重庆、浙江、广东、山东、福建、四川、山西等地的几十个企业、团体和个人参赛，经过为期一个半月、分期分阶段的专业化测评，绝大部分参赛者都取得了优良的成绩并光荣上榜。

 

FAT-AI排行榜展示了每位参赛者的算法在竞赛中的历史最佳成绩，最终排名是由每一项独立测评指标的排序值加权得到。排行榜中的每一列代表着不同的测评指标项，具有不同的参考意义。竞赛成绩适用于我国各地图像识别系统和工程项目的建设规划、选型、升级及应用效果综合评价考核。

 

1:1竞赛结果及排行榜

 

1:1竞赛评估了真实场景下各参赛者算法在标准照和抓拍照之间比对的精准度。在0.00001低误识率（FMR），即每10万次比对只允许出现1次错误通过的条件下，竞赛分别测试了各算法在全体人员、男性、女性这三类不同集合上的正确通过率（TMR），并从高到低来排序。最后的排名由这三项排名的加权和决定。榜单中TMR表示全员，TMR_M表示男性，TMR_F表示女性。

 

1:1竞赛第一期中最优秀的成绩为：

TMR@FMR≤e-5（全员）：0.99103，

TMR_M@FMR≤e-5（男性）：0.99679，

TMR_F@FMR≤e-5（女性）：0.97702。

 

Re-ID竞赛结果及排行榜

 

Re-ID竞赛第二期评估了真实场景下行人重识别的性能，采用的是当前学术界最流行的mAP、Rank-1指标。mAP即 mean Average Precision（平均查准率），反映了算法在用查询图片搜索行人底库时，返回的最相似行人结果列表中，正确ID的排序关系和平均精度；Rank-1即首位命中率，表示算法在用查询图片搜索行人底库时，返回的最相似行人ID匹配度。排行榜按照mAP和Rank-1从高到低对各参赛者算法进行排序，并计算排名的加权和来决定最终的排名。

 

Re-ID竞赛第二期中最优秀的成绩为：

mAP（平均查准率）：0.64416，

Rank-1（首位命中率）：0.77176。

 

后续计划

 

视频国家工程实验室将长期开展图像识别系统的测评，组织国家级、行业级及各个地区实战需要的图像识别系统应用测评，持续追踪和不断丰富中国实际应用场景下的图像识别系统及算法的实战应用关键技术指标，逐步建立行业图像识别应用参考基线，为图像识别技术在实际业务的深度应用提供科学客观的量化指导依据，推动我国公共安全领域视频大数据实战应用水平不断提升。

 

视频国家工程实验室将积极开展竞赛合作，一方面，FAT-AI可定制应用竞赛，即通过与政府部门、科研单位、测评机构等联合，采取线上或线下的方式，根据实际需要定制不同形式、不同应用场景的竞赛项目；另一方面，FAT-AI还可举办区域特色竞赛，即通过与省级、市级政府、公安等主管单位联合举办具有当地特色的AI应用竞赛，建立视频国家工程实验室FAT-AI应用竞赛常设机构，以竞赛促进产业升级、以比赛带动创新应用。

 

FAT-AI 1:1竞赛第二期将于2021年2月18日至3月18日举办（验证集截止3月8日含），Re-ID竞赛第三期将于2021年2月25日至3月25日举办（验证集截止3月5日含）。此外，针对实际无约束场景，视频国家工程实验室还开展了口罩佩戴条件下的识别等竞赛项目。

 

---

文 / 赵炫　高磊　张旭　崔涵　董陈远

视频图像信息智能分析与共享应用技术国家工程实验室（简称：视频国家工程实验室）

公安部第一研究所

延伸阅读

《中国安防》

 -国内行业权威杂志-

出版发行：《中国安防》编辑部

主管主办：中国安全防范产品行业协会

出版日期：2021年3月刊

推荐阅读