中国图象图形学学会和视频国家工程实验室还共同主办了“CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛”(简称:CFAT 2021),并于5月6日起开赛,每工作日公布排行榜。排行榜展示了每位参赛者的历史最佳算法成绩,最终排名由每一项独立测评指标的排序值加权得到。
2021年4月,视频图像信息智能分析与共享应用技术国家工程实验室(简称“视频国家工程实验室”,英文简称:NELIVA)发布了口罩竞赛第一期、1:1竞赛第二期、Re-ID竞赛第三期的排行榜。与此同时,中国图象图形学学会和视频国家工程实验室还共同主办了“CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛”(简称:CFAT 2021),并于5月6日起开赛,每工作日公布排行榜。排行榜展示了每位参赛者的历史最佳算法成绩,最终排名由每一项独立测评指标的排序值加权得到。
一、FAT-AI新推专题大赛:CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛开赛
当新冠肺炎疫情突然来袭之际,口罩瞬间成了公众的生命防线,也给人脸识别技术带来了前所未有的新挑战。为促进产学研融合发展,推动开放场景中人脸识别技术的提升,引领广大视频AI研究者进行常态化疫情防控下的“战疫”科技创新,选拔出人工智能领域的高精尖人才,由中国图象图形学学会和视频国家工程实验室共同主办了“CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛”。本挑战赛内容为非约束场景中佩戴口罩条件下的人脸识别,采用的是真实开放场景、严格标注筛选的多样化测试集,分为线上挑战赛和线下答辩两个阶段。线上挑战赛为基于图片的口罩佩戴条件下的人脸识别1:1,即给定两张人脸图片, 一张图片佩戴口罩, 一张不佩戴口罩, 算法需要判断两张照片是否属于同一个人。比赛将使用(TMR@FMR<=e-5)作为客观性能指标。线下答辩将在ICIG 2021会议现场(海口)进行。
CFAT 2021的主旨是:打造公正、开放的国家级AI赛道,以专业测评推动人脸识别技术的创新及应用。通过竞赛为创新拓路,为企业和科技人才赋能,以竞赛带动创新应用,以竞赛促进产业升级。其意义在于:排除了参赛者数据积累能力的偏差,让更多学术界研究者与工业界研究者具有针对工业领域应用的对等竞争能力,使研究者聚焦算法本身的跨域泛化能力研究。跨域泛化是目标识别乃至深度学习技术中的难点问题,该问题的研究不管对学术界理论突破还是工业界应用水平提升都具有重大价值。
CFAT 2021依托于视频国家工程实验室多年来构建的智能视频分析测评体系、专业的测评方法、评价指标以及实际应用场景数据集和自动化测试系统,在本实验室的FAT-AI应用竞赛平台(http://fat.neliva.com.cn)上设立了CFAT 2021挑战赛的独立赛道,用于参赛者的程序提交、获取结果通知、及时查看排行榜等工作。挑战赛要求参赛者使用统一的开放学术数据集进行训练,训练出的算法模型在应用场景数据集和统一的硬件平台上进行测试,模型格式统一采用onnx开源格式。
目前已有来自北京、广州、江苏、福建、陕西、吉林、辽宁、湖北、湖南、四川、重庆、海南、江西、山东、浙江等地的高校和企事业单位陆续报名参赛。
截至2021年6月22日发布的CFAT 2021实时榜单如表1所示,取的是每位参赛者的历史最佳算法成绩,后续还将不断更新。当前最优秀的成绩为:0.64872。(挑战赛规则及报名方式详见竞赛官网:http://fat.neliva.com.cn/CFAT2021。)
二、FAT-AI 1:1竞赛排行榜
1:1竞赛评估了真实场景下各参赛者算法在标准照和抓拍照之间比对的精准度。在0.00001低误识率(FMR),即每10万次比对只允许出现1次错误通过的条件下,竞赛分别测试了各算法在全体人员、男性、女性这三类不同集合上的正确通过率(TMR),并从高到低来排序。最后的排名由这三项排名的加权和决定。
在最新的1:1竞赛第二期中最优秀的成绩为:
TMR@FMR≤e-5(全员):0.99366,
TMR_M@FMR≤e-5(男性):0.99776,
TMR_F@FMR≤e-5(女性):0.98073。
三、FAT-AI Re-ID竞赛排行榜
Re-ID竞赛第三期评估了真实场景下行人重识别的性能,采用的是当前学术界最流行的mAP、Rank-1指标。在最新的Re-ID竞赛第三期中最优秀的成绩为:
mAP(平均查准率):0.69775,
Rank-1(首位命中率):0.80235。
四、FAT-AI 口罩竞赛排行榜
口罩竞赛采用佩戴口罩的真实场景数据,通过专业测评方法科学客观评估佩戴口罩条件下识别算法的实际应用能力。在口罩竞赛第一期中最优秀的成绩为:TMR@FMR≤e-5:0.92923。
*视频图像信息智能分析与共享应用技术国家工程实验室(简称:视频国家工程实验室,英文简称:NELIVA)
公安部第一研究所
作者:赵炫 高磊 张旭 崔涵 董陈远