近日,谷歌发布AVA (Atomic Visual Actions)数据库,由YouTube公开的视频集组成,这些视频可以用80个原子动作进行标注,例如走路、握手、踢东西等,所有动作具有时空定位,累计有5.76万个视频片段,9.6万个人类动作,以及21万个动作标签。谷歌称,此次发布的AVA技术将帮助谷歌分析多年的视频,还能帮助广告商更好地瞄准消费者。他们的最终目标是教计算机社交视觉智能化,即“理解人类在做什么,下一步该做什么,以及他们想要实现什么目标。”

目前,国内一些科研院所和企业也已经在行为识别相关领域进行重点投入,以解决视频监控数据理解这一瓶颈问题,但要达到让机器通过行为“理解”人类这个最终目标,还需要很多努力。“目前,人体行为识别大多还处在动作识别阶段,对于实际应用而言,识别人的动作,还是一个巨大的挑战。”11月8日,济南大学模式识别与智能系统研究所所长李金屏教授告诉科技日报记者。动一动,机器就能发现你?有关专家表示,现阶段,这是一件“可以有”的事。

应用: 安防等领域大展神威

李金屏告诉记者,动作识别可以看成是特征提取和分类器设计相结合的过程。养老院中,如果出现老人摔倒,行为识别系统可以立刻向工作人员发出警报,甚至直接与医院进行联系;黑科技满满的《碟中谍5》,安保系统的最后一道防线是步态识别……尽管技术难点重重,行为识别目前仍然在相关领域获得了应用。

浙江大学人工智能研究所所长吴飞教授告诉记者,这项最早被苹果和微软应用于游戏的技术,还在公检法(在押人员审讯看护)、电力(风力发电、国家电网的安全生产)、银行(业务区域智能安防)、医院(病人状态监护)等多个场景有更广的应用空间。尤其在安防等领域,以行为识别为基础的应用更广泛。

比如通过人的走路方式来识别身份的步态识别,虽然属于身份识别,但是也是行为识别和身份识别的一种有效交叉。步态识别是一种通过人们走路姿态进行的身份识别,分为人形检测、分割、识别、跟踪四个部分,而这些部分最具挑战的环节都离不开以行为识别为基础的研究。

在近年来寻找失踪人口和嫌犯追逃的工作中,步态识别已经发挥了不小的作用。《机智过人》节目中,银河水滴科技成功通过步态识别现场“嫌疑人”,加大难度后,还靠步态识别出狗的剪影。

银河水滴科技创始人兼CEO黄永祯说,通过步态识别来实现异常行为分析,这是步态识别相比于其他生物特征识别的重要优势之一。异常行为的应有之义就包括可以通过视觉观察目标体形和动作状态,来发现是否有异常行为,通常会涉及到目标检测、分割、关键点定位、识别、跟踪等技术环节,而这些技术环节也是步态识别的核心底层技术。目前,他们已能很好地完成远距离非受控模式识别。

难点: 定位、跟踪、场景步步为艰

“行为识别的难点,首先表现为从连续视频流中对人体运动的定位难、追踪难。”吴飞说,在视频行为识别中,要找到一个连续动作的起点和终点,即将连贯动作从视频流中定位出来,在视频识别中是非常困难的。而在找到某个连贯动作的起点后,对这个动作进行鲁棒跟踪也比较困难。比如一个跳跃动作,要实现追踪动作持续展开的过程就不容易,还要考虑场景的复杂性以及背景动态变化或者摄像头晃动等因素。

不仅如此,场景识别也是一大难点。首先,即使是同一类动作,在不同时刻、不同场景也具有很大差异性。吴飞举例说,比如不同的人在不同时刻行走,速度、姿态和场景遮挡等方面都有差异。不同类别动作之间更是如此。李金屏表示,“与静态对象不同,动作会随着时间的推移而展开,会有更多不确定因素。”比如一幅人的“跑步”照片,实际上有可能只是这个人在跳跃的动作,只有看到更多画面,才有可能清楚地知道到底发生了什么。可见人在场景中的动态是多么复杂。因此某一动作的识别方法很难直接用在另一动作的识别上。“一个动作,人类辨识两三遍就可以了,但要让机器记住并识别,则需要大量的训练数据。”李金屏说。

此次谷歌发布的AVA与其他数据集相比,通过在相关场景中提供具有精细时空粒度的多个标签,将极大推动人们对于相关模型的深入研究,最终不但能够实现人的复杂活动精确建模,还将进一步获得实际应用。

展望: 设备平台、理论模型方兴未艾

“在行为识别领域,中国未来五年、十年的发展后劲非常强,建议在设备和平台方面进行攻关,现在国内好多团队的设备还是采用微软等国外企业的设备和平台,希望国家在这方面给予一定的支持和政策引导。”李金屏说。

在吴飞看来,中国的科研团队和企业还应该在理论模型、数据驱动等基础理论方面进行深耕。“一个行为动作的过程要经历多个状态(对应很多时间帧),人体在每个时刻也呈现出不同的姿态,那么,是不是每一帧在动作判别中的重要性都相同呢?对于行为动作的判别,是不是每个关节点在动作判别中都同等重要呢?这些都需要理论模型等基础理论的完善。”吴飞说。