文/王武 成云飞 公安部第三研究所
一、前言
在智能分析、生物识别等技术发展的背景下,近年来人脸识别技术已成为视频监控、智能家居、金融支付等行业的主要应用趋势。随着人工智能技术在各个行业的逐步应用和落地,由与技术革新相对应的人脸识别技术研究及标准化工作也受到了广泛关注。本文将从国际人脸识别技术研究及标准化工作出发,探析国际人脸识别技术和标准化发展趋势以及对我国人脸识别技术研究及标准化工作借鉴意义。
二、国际人脸识别技术研究现状
1. 国际人脸识别技术研究组织概述
人脸识别技术是目前主流的人工智能算法落地应用之一。人脸识别算法按识别流程主要包括人脸图像捕获、预处理、特征提取、人脸比对、活体检测以及人脸对抗检测等方面。获取的人脸图像经过模型训练实现人脸识别的过程称为人脸视图解析过程。人脸根据任务需求包括1:1人脸验证、1:N人脸库对比匹配和多张相同人脸进行人脸聚类。活体检测是判断当前视图内人脸是否采用物理面具或者其他非真实人脸模具进行人脸识别。人脸对抗检测是采用生成对抗样本越过活体鉴别对人脸识别技术进行破防检测。在国际主流人脸识别技术研究中,除人脸识别算法外,前端人脸数据增强、人脸数据加密存储、行业内人脸识别管理技术也是国内外研究重点之一。
国外人脸识别技术研究涵盖院校和知名企业两大类,主要通过组织或参加国际人脸相关类竞赛获得了巨大曝光度。举办竞赛类学校和组织包括美国斯坦福大学、美国马萨诸塞大学、美国华盛顿大学以及美国国家标准与技术研究院(NIST)等。我国科技类公司包括依图科技、商汤科技、旷视科技、云丛科技都表现不俗,近年来一直处于竞赛领先地位。国际上美国、法国、俄罗斯、立陶宛、加拿大、日本等国家院校和公司表现也十分抢眼。
(1)斯坦福大学
美国斯坦福大学是最早研究人脸识别技术的院校之一。华人科学家李飞飞教授在2009年的CVPR上发表了论文《ImageNet: A Large-Scale Hierarchical Image Database》,次年开启了连续数年的ImageNet挑战赛,极大的推动了全世界人工智能行业发展。近期,斯坦福大学与Facebook旗下数据挖掘公司合作,采集100万人脸数据根据人员的年龄、性别、种族、面部朝向和面部表情等因素进行识别,取得了较好的识别准确率。
(2)美国马萨诸塞大学
美国马萨诸塞大学对人脸识别最重要的贡献之一是开源了知名的人脸检测数据库FDDB和人脸识别数据集LFW。FDDB数据集是从Wild数据集面部拍摄的2845个图像集中的5171个面部的注释,数据集采用椭圆型人脸标签。主要用于研究无约束人脸检测问题的人脸区域数据集。评估方式包括长方形和椭圆两种形式。LFW数据集包含13233张人脸图像,涉及5749位全世界知名人士,其中1680人具有两张或两张以上不同场景下图片,每张图片采用统一尺寸,LFW数据集主要应用于非限制环境下的人脸识别。
(3)美国华盛顿大学
2016年IEEE计算机视觉与模式识别会议(CVPR2016)上发布了由美国华盛顿大学计算机科学与工程实验室维护的MegaFace基准数据集竞赛初始结果。该数据集是继LFW后首个百万级人脸规模数据集,涉及690572个人员。测试规模是LFW的100倍以上,识别率研究提升难度更大。最早是由俄罗斯Vocord公司获得第一名。
(4)美国国家标准与技术研究院(NIST)
NIST是由美国商务部主管为美国工业和国防部提供测试技术的研究机构。主要负责美国国家计量基准与标准,参与美国标准化技术委员会制定标准等工作。其重要的一项人脸识别测试数据集是FRVT测评,由于其不对外开放数据只接受SDK评测,并且属于相对独立的第三方评测机构不受商业因素影响,因此在国际上具有一定的公正性。FRVT测评的特点不设置截至日期,定期开放不同企业提交的测试结果,可从测试精度、速度以及存储、可靠性等各个算法进行评测。FRVT数据集主要涵盖Child exploitation、Visa images、Mugshot images、Selfie images、Webcam images、wild images等数据集,测试较为复杂,挑战性大。
2.国际人脸识别技术研究发展趋势
随着云计算、大数据、物联网、人工智能等计算机科学技术的飞速发展以及人脸识别技术在实际应用领域的不断拓新。全球人脸识别行业规模以非常高的速度增长。根据全球第二大市场研究咨询公司Markets and Markets预测,新冠疫情后全球人脸识别市场规模将从2020年的38亿美元增长至2025年的85亿美元,预计期间复合年增长率(CAGR)约为19.0%。其中安防监控、零售与电子商务、金融服务是推动市场增长的主要因素。同时,人脸识别类相关专利申请书也达到了1374件。随着人脸识别技术的广泛应用,一些新的技术不断发展。国际上人脸识别技术的主要研究重点包括人脸识别基础算法、芯片和传感器。
(1)基础算法技术
基础性研究可解决应用算法层面的瓶颈。人脸识别技术从最早的基于特征脸、几何特征方法、支持向量机到深度学习算法,经历了几代的发展。在目前主流的深度学习算法中,基础算法热点包括深度学习模型结构设计、损失函数设计、特征加速等。模型设计的重点是权重少、计算小、速度快。如何设计高效的神经网络是研究重点之一。损失函数设计是反映模型设计水平的评价指标之一,主要用于反馈训练数据集的真实水平和具有合理的可求解梯度。目前,深度学习领域的两个重要分支分别是设计强大复杂的网络模型和高效稳定的结果输出。
(2)芯片研制
人脸识别技术的发展得益于神经网络技术的发展。而神经网络技术依赖于大规模数据处理能力,也就是芯片算力。目前大部分人脸识别产品均采用通用芯片进行处理。由于人脸识别算法对算力资源要求较高,一般采用CPU、ARM等芯片进行视频处理获取人脸图片。对获取的人脸图片进行人脸解析过程是人脸识别技术的关键,由于CPU对多任务处理能力效率低下,因此该过程一般采用专用处理芯片包括GPU显示核心、FPGA现场可编程门阵列、ASIC专用集成电路、DSP数字信号处理等。2020年来,由于新冠疫情以及资源短缺,全球陷入芯片紧缺状态,目前已从汽车行业蔓延到多数计算机产品行业。因此,突破芯片限制仍是目前国际上需要解决的重要课题之一。
(3)传感器技术
传统的二维人脸识别技术已经取得了实战性应用,但随着信息安全技术的发展,活体检测以及人脸对抗性攻防技术也是现在研究重点之一。而解决该类算法攻击的重要途径之一是采用更为复杂的前端采集传感器,如基于3D结构光、双目立体视觉和TOF技术的三维人脸采集和近红外人脸采集传感器。如常见的Iphone Face ID主要采用3D结构光技术,可应用于消费者行业,如人脸支付、新零售、智能物流等。
三、人脸识别标准化现状
1.人脸识别标准化国际组织概述
人脸识别国际标准化方面,人脸识别标准化工作主要属于 ISO/IEC JTC1/SC37的工作范畴,其重点关注人脸识别基础标准,如图示、图标、符号、样本质量等,以及数据交换格式及符合性测试方法等。其它国外关注人脸识别的先进组织包括IEEE消费电子协会(Institute of Electrical and Electronics Engineers,IEEE)、美国消费者协会(Consumer Technology Association,CTA)等,其关注的方向在于生物特征识别呈现攻击检测、人脸生物特征识别信息的性能评估等方面。ITU国际电信联盟标准(International Telecommunication Union,ITU)与生物识别标准相关的工作组包括ITU-T SG17安全标准工作组下设的Q9和Q10。Q9主要关注在通信应用环境中应用生物特征识别及其标准化工作。随着生物特征识别技术在电子商务、电子健康和移动支付领域中的广泛应用,该工作组同样关注生物特征数据的隐私保护、可靠性和安全性等各方面的挑战。Q10关注身份管理架构和机制,部分标准项目与基于生物特征识别身份认证相关。近年来,ITU-T SG16媒体工作组基于视频监控、机器视觉等应用场景、功能需求、业务需求、性能需求以及安全需求,在Q12、Q21等课题组先后开展人脸识别标准的研究和制定。
2.人脸识别标准制修订概述
人脸识别技术作为生物特征识别技术的分支,也是应用最普遍的生物特征识别技术,有众多生物特征识别领域相关的标准可参考。ISO/IEC人脸识别国际标准统计情况见表1。
表1 ISO/IEC国际人脸识别标准统计表
序号
|
标准编号
|
标准名称(英文)
|
标准标准(中文)
|
1
|
ISO/IEC 19794—5:
2011
|
Information technology
—Biometric data interchange formats
— Part 5:
Face image data
|
信息技术 生物特征识别数据交换格式 第
5 部分:人脸图像数据
|
2
|
ISO/IEC 29109—5:
2019
|
Information technology
—
Conformance testing methodology for biometric data interchange
formats defined in ISO/IEC 19794 — Part 5:
Face image data
|
信息技术 ISO/IEC 19794中定义的用于生物特征识别数据格式的生物特征数据交换格式的符合性测试方法
第 5 部分:人脸图像数据
|
3
|
ISO/IEC TR 29794—5:2010
|
Information technology —Biometric sample quality — Part 5:
Face image data
|
信息技术 生物特征样本质量 第 5
部分:人脸图像数据
|
4
|
ISO/IEC 39794—5:
2019
|
Information technology
—Extensible biometric data interchange formats
— Part 5:Face
image data
|
信息技术 可扩展生物特征识别数据交换格式第
5 部分:人脸图像数据
|
5
|
ISO/IEC 24779—5:
2020
|
Information technology
—Cross—jurisdictional and societal aspects of implementation of
biometric technologies —Pictograms,
icons and symbols for use with biometric systems — Part 5:
Face applications
|
信息技术 司法和社会领域交叉的生物特征识别技术的实现
生物特征识别系统中使用的图标、图示和符号 第 4 部分:人脸应用
|
6
|
ISO/IEC AWI 24357
|
Performance evaluation of
face image quality algorithms
|
人脸图像质量算法的性能评价
|
7
|
SO/IEC WD 24358
|
Face—aware capture
subsystem
specifications
|
人脸识别采集子系统规范
|
8
|
ISO/WD 37183
|
Smart community
infrastructures — Guidance on smart transportation using face
recognition
|
智能社区基础设施-使用人脸识别智能交通指南
|
其中,国内标准GB/T 26237.5-2014 《信息技术 生物特征识别数据交换格式 第5部分:人脸图像数据》采标国际标准ISO/IEC 19794-5:2006 《Information technology - Biometric data interchange formats - Part 5: Face image data》;国内标准GB/T 33842.5-2018 《信息技术 GB/T 26237中定义的生物特征数据交换格式的符合性测试方法 第5部分:人脸图像数据》采标国际标准ISO/IEC 29109-5:2014 《Information technology - Conformance testing methodology for biometric data interchange formats defined in ISO/IEC 19794 - Part 5: Face image data》;国内标准GB/T 33767.5-2018 《信息技术 生物特征样本质量 第5部分:人脸图像数据》采标国际标准ISO/IEC TR 29794-5:2010 《Information technology -Biometric sample quality - Part 5: Face image data》。除此之外,一些综合性标准中也涉及了人脸识别相关内容,具体见表3。
表2 国外其他组织制修订标准情况
序号
|
标准编号
|
标准名称(英文)
|
标准标准(中文)
|
1
|
IEEE Std2790—2020
|
Biometric Liveness
Detection
|
生物特征识别呈现攻击检测
|
2
|
EEE P2884
|
Performance Evaluation of
Biometric Information:
Facial Recognition
|
生物特征识别信息性能评估:人脸识别
|
表3 国外其他含人脸识别相关内容标准制修订情况
序号
|
标准编号
|
标准名称(英文)
|
标准标准(中文)
|
1
|
ISO/IEC 2382-37:2017
|
Information technology —
Vocabulary — Part 37: Biometrics
|
信息技术 术语 第 37
部分:生物特征识别
|
2
|
ISO/IEC 19784
|
Information technology —
Biometric application programming interface
|
信息技术 生物特征识别应用程序接口(系列标准)
|
3
|
ISO/IEC 19785
|
Information technology —
Common Biometric Exchange Formats Framework
|
信息技术 公用生物特征识别交换格式框架(系列标准)
|
4
|
ISO/IEC 19795
|
Information technology —
Biometric performance testing and reporting
|
信息技术 生物特征识别性能测试和报告(系列标准)
|
5
|
ISO/IEC 24708:2008
|
Information technology —
Biometrics — BioAPI Interworking Protocol
|
信息技术 生物特征识别 BioAPI
互通协议
|
6
|
ISO/IEC 24709
|
Information technology —
Conformance testing for the biometric application programming
interface (BioAPI)
|
生物特征识别应用程序接口(BioAPI)的符合性测试(系列标准)
|
7
|
ISO/IEC 30107-1:2016
|
ISO/IEC 30107-1:2016
Information technology — Biometric presentation attack detection
|
信息技术 生物特征识别呈现攻击检测 第
1 部分:框架
|
8
|
ISO/IEC 30137:2019
|
INFORMATION TECHNOLOGY —
USE OF BIOMETRICS IN VIDEO SURVEILLANCE SYSTEMS
|
信息技术-在视频监控系统中使用生物识别
|
由于人脸识别技术国外发展较早,相应的人脸识别国际标准也具有较先制定的情况。但国际标准化研究主要聚焦于基础性标准建设,针对行业领域的标准化工作较少。近年来,随着我国人工智能产业的加速发展,人脸识别技术和标准制修订工作已经实现了国际化接轨。国内标准的发展路径由前期直接采标国际标准到后期根据国内行业发展个性化制修订适合国内人脸识别行情的国家标准或行业标准,进步十分明显。
四、国际人脸识别技术研究和标准化工作对国内人脸技术发展的借鉴意义
美国人脸识别领域起步较早,拥有最先进的人才储备和科研成果。但近年来,由于美国社会政策等原因,美国对人脸识别技术的担忧远超过了由人脸识别技术多带来的正面预期。部分研究机构和企业相继关闭开源数据集和算法模型。相反,我国人脸识别技术正实现弯道超车,国产科技巨头数年来扎堆布局,企业数量与日俱增。政府和产业资本也加大了人脸识别技术行业的投入,行业前景十分良好。虽然我国人脸识别技术和标准化工作近年来发展迅速但是也存在一定问题,主要表现为没有统一的管理机构对各行业的人脸标准进行统一规划。各行业对产品及系统的应用性能要求不尽相同,导致即使在公共安全单个领域,不同标准针对同一性能指标的规定也存在较大差异,给该类产品的检测认证带来了极大的阻力,一定程度上导致市场上该类产品的性能可信度降低。因此,借鉴国际人脸识别技术研究和标准化工作具有十分重要的意义。国内人脸识别技术研究和标准化发展建议如下:
1.加强标准与技术融合,提升基础性标准支撑作用
标准与专利是支撑行业发展的重要支柱,特别是对于人脸识别这类高新技术行业而言,随着技术的发展,标准的生命周期往往有限。应更进一步要加强基础标准的制定,促进标准研制与知识产权保护之间的良性互动,提升标准与专利融合的正效应。
2.推进团体与行业标准同行,加速关键技术应用落地
应鼓励有条件的院校、协会、商会、联合会等国内相关组织根据技术创新和市场发展的需求,协调相关市场主体,自主制定发布团体标准。应加强各行业间的标准交流,针对行业需求定制个性化指标和共性标准,改进各行业信息孤岛,促进关键技术的快速应用和落地。加强企业间合作,形成人脸识别产业联盟。
3.国际标准国内化,国内标准国际化
在标准制修订过程中结合国内现实需求与实际状况,有选择、有步骤地将相关国际标准转化为国家标准,加快与国际相关标准接轨的步伐。同时,积极推进国内自主标准在国际组织中的立项和研制工作,增强我国在国际标准制修订中的竞争力和话语权。
4.产业领域差异化,产业生态完善化
人脸识别产业领域根据算法流程可分为前端硬件采集设备、芯片等配件、算法软件处理、后端应用软件开发以及基于行业的解决方案。目前国内产业生态运行良好,由海康、大华等传统摄像机制造巨头在数据处理和视频传输方面具有较强优势,华为公司的海思芯片也成为国产摄像机领域的中流砥柱。而依图、旷视、商汤、云丛等新兴独角兽企业在人脸识别算法也崭露头角。百度也基于自动驾驶等技术需求在数据采集标注方面经历多年耕耘也具有一定的成果。产业领域的差异化有利于企业良性驱动,避免了公共资源的浪费和企业间的内耗。
5.打破人脸识别行业壁垒,推动共性技术及标准发展
人脸识别技术根据场景不同已经广泛应用于手机支付行业、交通枢纽身份认证行业、金融认证行业、工厂及企业身份核验等行业。我国相关政府部门也积极推动多行业的协同发展,加强对新型技术的落地使用,在相关信息系统中也积极使用该类技术。为进一步提升资源利用率,合理使用有限资金,各行业间应加强行业交流。研究人脸识别共性技术形成共性标准。在此基础上建设行业化标准,避免各个标准之间共性技术的差异化给市场带来的紊乱。
6.人脸检测标准化,产业生态健康化
人脸产品的检测与产业健康发展息息相关。人脸识别通常会涉及摄像头采集数据、数据传输到云端服务器、服务器对数据进行处理和存储等环节。采用标准化、自动化检测流程有利于提升检测效率,规范行业市场。另外,人脸识别各个环节都可能产生信息泄露、数据窃听、篡改甚至替换等风险。采用标准化的人脸识别框架,增强数据传输的加密机制、服务器端数据的访问机制,规范行业应用,保障产业健康发展。