安防行业涉及的数据信息类型很多,目前仍以图像视频等非结构化信息为主,然而大数据技术在安防各领域的应用并不如在IT、互联网行业那样成熟,安防企业在做好安防系统和应用的同时,需要加强内功,加强技术储备,应对更大数据量带来的冲击,提升对大数据的处理和利用能力。
安防数据目前仍以图像视频等非结构化信息为主,所以在大数据的分析和处理上又有其特点,除了常规的信息检索以外,安防行业更侧重于图形图像的信息检索。
自1946年第一台计算机诞生以来,仅仅半个多世纪,信息技术以它广泛的影响和巨大的生命力风靡全球,成为科技发展史上业绩最辉煌、发展最迅速、对人类影响最广和最深刻的科技领域。数年来,随着互联网和信息技术的同步发展,各行各业都积累了大量数据。据全球领先的信息技术研究和咨询公司Gartner报告,驱动大数据发展的重要因素主要来自两个方面:一是消费领域,如网购及社交媒体应用产生的大量数据;另一方面来自城市基础设施建设,安防便是其中之一。
一、多类型安防数据来袭
安防行业涉及的数据信息类型很多,以数据的结构类型来看,包括了各类非结构化、结构化以及半结构化信息。非结构化数据主要指视频录像和图片记录,如
监控视频录像、报警录像、摘要录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等;结构化数据则包括报警记录、系统日志记录、运维数据记录、摘要分析结构化描述记录、以及各种相关的信息数据库,如人口信息、地理数据信息、车驾管信息等;半结构化数据则如人脸建模数据、指纹记录等。
这些信息的来源有几个渠道,一个是安防系统内部产生的信息,如各种视频录像、抓拍图片、系统运维数据、日志记录、摘要记录等;另外一些则是通过外部系统采集或者集成,如人口信息、地理数据信息、人脸库数据、车驾管数据等。
这些数据作为一个整体,构成了安防系统或者说安防领域的大数据基础,并且具有以下特征:最显着的是安防数据体量巨大并不断快速膨胀,随着
视频监控图像系统的不断联网和整合,以及视频分辨率和帧率的不断提高,实时视频数据的存储已经从TB的级别开始跃升到PB级别;其次,安防数据类型繁多,如上面提到的视频、图片、地理位置信息等等,而且随着各类安防系统以及相关的信息系统的不断整合,数据类型也会越来越多;另外,安防数据整体蕴含的价值密度低,但是价值高。以视频监控数据为例,在7*24小时连续不间断监控的过程中,可能有用的数据仅仅有一两分钟,甚至一两秒。同时,这些信息更新频率特别快,安防数据每时每刻都在大量产生,信息每时每刻都在更新。
要从这些海量的信息里快速高效地筛选有效信息,安防厂商需要两个基础来保证:首先需要提升对非结构化信息的处理能力和效率,准确和快速地处理视频图像,人脸特征建模等数据,从里面提取出有用的信息,并且能够进行信息的某种表述,在大数据的存储层面上完成数据信息的提取和存储工作,以便进行后续的数据信息检索、分析和挖掘业务。其次,通过使用并且有针对性地改进目前的大数据处理技术以及平台框架,提供针对安防数据信息的快速检索机制,形成有针对性的海量安防数据信息处理架构,从这些大量的结构化和半结构化信息中快速检索和分析。
二、图像侦查系统解决方案探索大数据应用
安防数据目前仍以图像视频等非结构化信息为主,所以在大数据的分析和处理上又有其特点,除了常规的信息检索以外,安防行业更侧重于图形图像的信息检索;目前的IT大数据一般侧重于分析和检索文本类数据,因此,对于安防界来说,安防界对于大数据的处理和分析工具主要有两类,一类是对于视频图像等非结构化信息的处理和分析工具,包括视频智能分析工具、视频摘要工具、图像清晰化工具、视频清晰化工具、视频转码工具、视频编辑工具等等。另一类则是对于结构化、半结构化信息的大数据分析处理工具,在这方面,安防界吸取了IT界在处理大数据方面的架构和经验,对于结构化和半结构化的数据可以实现快速和准确的数据分析和挖掘。
纵观整个安防领域,平安城市是规模最大、业务最复杂的庞大系统,涉及治安监控、指挥通信、侦查破案、规范执法、社会服务等多个分区领域,视频接入规模从几千线到几十万线,随着安防监控对高清、智能、联网的要求越来越高,各地平安城市项目每天产生的数据规模正以惊人的速度不断增长。
然而,大数据技术在安防各领域的应用并不如在IT、互联网行业那样成熟,相关的信息碰撞和挖掘需求也尚未形成模式。在日渐庞大的数据面前,如何做到对海量视频数据的综合应用与精准分析,正是平安城市大数据的痛点,这也决定了它需要大数据技术予以支撑。在各类的平安城市建设项目中,依靠大数据分析技术,从海量视频图像中提取有效的安防信息,早已成为安防界共识。
在公安办案过程中,图像侦查系统解决方案因为让办案民警从海量数据中得以解放,从而在公安行业倍受推崇。某公安分局曾有通过科达图侦工作平台10个月内直接破获各类案件900多起的战绩。
三、云存储接受大数据存储能力考验
从目前大部分的安防系统架构看,安防大数据的传输渠道主要是网络,一般都采用联网汇聚,分级存储的机制,网络一般为千兆网,存储也以一般的磁盘阵列存储为主。为了适应安防信息整合、数据分析和信息挖掘的需求,安防系统逐步倾向于互联、整合,而安防数据信息也逐渐的汇聚和集成,出现了万兆网络集中汇聚管理,并且以云存储作为视频图像数据存储平台的趋势。目前,云存储已成为安防大数据的核心技术,各厂商也在着力提升自己的研发能力。
与传统的存储设备相比,云存储不仅仅是一个硬件,更是一个网络设备、存储设备、
服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。云存储可以提供类似于磁盘阵列的裸空间服务,也可以提供基于存储的特定服务。
从应用架构上看,云存储系统与传统分布式存储系统差异并不明显,其更本质的区别其实体现在内部软件架构上。云存储系统采用大规模分布式并行文件系统,以大量的服务器和存储设备为基础,构建一个大规模存储集群,提供上百PB的存储容量,并能够在线进行容量的扩充,由此搭建的大容量存储系统整体成本远低于传统存储架构,并且具有良好的可扩充性和灵活性。
云存储系统通过元数据和存储数据分离的非对称式架构,通过负载均衡和数据并发访问策略,在普通硬件条件下获得高达数十Gbps的传输速率以及上百PB级的存储容量,并可根据用户应用发展的趋势,适时按需进行在线动态扩展。
与单机的文件系统不同,分布式文件系统不是将这些数据放在一块磁盘上由上层操作系统来管理,而是存放在一个服务器集群上,由集群中的服务器,各尽其责,通力合作,提供整个文件系统的服务。云存储系统内置了基于对象数据管理策略,能够保证在系统局部发生故障时数据的安全性和可靠性,彻底消除存储系统中的单点故障,结合自动故障探测和快速故障恢复技术,确保用户的应用持续稳定地运行,同时减少部署和管理的难度。
四、机遇与挑战并存
数据越发庞大,积累的商业信息越多,价值也就越大。以海量、多样、快速为显著特征的大数据,不像传统数据库的数据那么易于管理和分析,它在为整个IT及通信行业带来机遇的同时,也提出了更高的要求。比如安全问题,数据安全是整个IT行业内的难题,在安防领域也不例外,IT领域碰到的安全威胁和各种各样的破坏和攻击,在安防领域同样会遇到。而对于安防领域而言,数据量大,图像信息蕴含的信息量更多,而且还涉及到个人隐私,公共安全等问题,所以,在系统安全方面更不容忽视,但设备商的相关技术与国家的法律规范不可能一蹴而就。
目前安防行业已经一只脚迈入了大数据时代,但是还没有完全进入。之所以这么说,是因为当前安防系统的数据量的确在不断膨胀,高清视频的出现,安防系统联网和整合的不断推进,存储技术和容量的提升,导致数据体量巨大,大数据的特征凸显,这样的安防系统注定将是一个大的数据集合体,但是,目前大量的视频数据仍然是独立的、零散的。视频录像数据散布在各个行业单位独立的系统中,没有实现真正的联网、共享,业界也没有形成对数据挖掘、利用的通用方法。
此外,在相关IT基础设施,视频图像信息的智能分析和检索,安防数据的组织管理、数据分析和挖掘算法的建模和实现,需要全面导入创新的技术。安防企业在做好安防系统和应用的同时,需要加强内功,提高研发能力,加强技术储备,应对更大数据量带来的冲击,提升对大数据的处理和利用能力,特别是目前最为迫切需要提升的视频智能应用、视频智能分析的准确度,这些都是安防行业在进入大数据时代前需要解决的问题。