目前,业内人士对大数据、云技术恐怕是耳熟能详,但究竟什么是大数据、云技术?对于公安实战系统来说,大数据、云技术又能带来哪些便利?是概念的炒作还是真的能融入到公安业务中,并内化为公安实战系统的技术和工具?本文中,我们一起探讨大数据、云技术在公安实战系统中的应用趋势。
一、常规数据库无法满足公安实战业务需求
近年来,平安城市建设飞速发展,各个街道、十字路口随处可见各种摄像机设备。它们为公安的日常治安和侦查办案提供了很大的方便。但随着设备数量的增加,视频分辨率的提高,公安搜集到的视频和图片的数据量呈几何倍增长。再加上视频分辨率的不断提高对服务器处理能力和使用率提出了更高的要求。这样,视频图像的调阅、存储、计算在技术上都面临巨大挑战。因此,公安干警如何能快速在日益增长的海量数据中获得有价值的信息就成为了亟待解决的问题。
以卡口数据为例,目前普通的二线城市每天的车辆通行记录就有1000万以上,存储半年就有18亿条数据,而存储一年的数据量就有36亿。而一线城市的数据还要比这个高很多。这些卡口数据包括了车牌号、车身颜色、车型等一系列结构化信息以及卡口图片。公安用户在对嫌疑车辆排查时,想在动辄几十亿条的数据中进行检索,常规的数据库是无法满足用户实战需求的。想象一下,如果公安干警查询一个嫌疑车牌号就需要几十秒甚至更长的时间,如何能实现快速定位和抓捕?
二、大数据技术使得海量数据的快速检索和数据挖掘成为可能
大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合(维基百科)。现在公安业务中海量的视频和图片也在逐渐变为常规软件工具难以处理的数据集合了。大数据技术目前在公安行业中的应用还主要在卡口数据中。这是因为各个城市的卡口建设已非常成熟,而卡口每天产生的数据量庞大。
如前文所述,要想处理海量的卡口数据,并进行各个维度的检索,就需要大数据技术的支持。另外,由于车辆特征识别技术已非常成熟,卡口的结构化数据准确度非常高,这些数据已经具备给公安提供可靠数据参考的基础。基于以上条件,卡口系统最先引进了大数据技术。
大数据技术可以为公安业务带来的第一个便利是检索。它可以在几十亿甚至上百亿的卡口数据中实现秒级的检索速度,还可以提供车型、车辆类型、车辆颜色、车牌颜色、精确车牌和模糊车牌等多个维度的检索,可以真正的满足公安用户的实战需求。
第二个便利是大数据技术可以在海量的卡口数据中进行数据挖掘,提取出对公安用户真正有价值的信息。例如轨迹分析、跟车分析、碰撞分析、昼伏夜出等。大数据技术可以实现以前技术无法实现的快速检索和大数据挖掘,真正实现了公安对卡口大数据的有效利用。
除了在卡口系统中的应用,视图库对大数据也有很大的需求。首先,随着摄像机的不断增多,平台存储的视频越来越多,能够快速处理大量视频文件的需求也越来越大。其次,与卡口一样,大量视频中的结构化信息会形成海量的数据,在海量的视频数据中进行检索和数据挖掘也是公安的一个巨大需求。但目前对海量视频的大数据处理技术并不成熟,而且各级公安所建的视图库很多还没有被充分的利用起来或各部门的视图库并没有统一。这些都暂时限制了视图库大数据的快速发展。
但随着技术的发展和公安对视图库的标准化,视图库大数据应用必然是日后大数据技术在公安业务中应用的趋势。在视频处理方面,随着视频数量的不断增多、分辨率的提高,对视频处理的速度提出了更高的要求。而大数据技术产生于互联网领域,但在处理视频文件方面并不是最适合的。
以Hadoop为例,MapReduce是一个产生于互联网的编程模型,将任务切分也可以移植到对视频文件的处理上。将视频文件切分为多个视频片段分配给各个计算节点处理,从而大大的缩减视频处理的时间,提高公安工作效率。因此,将大数据技术转变为适合处理视频文件的技术是未来技术发展的趋势。
三、云技术能够提高资源使用率和数据安全性
传统的平台部署方式是纯粹的物理机,并且每个机器上部署不同的软件来实现不同的功能。很多时候都会出现某个功能平时需求不大时它所占用的硬件资源会有剩余,但在业务需求很大的某些时段,硬件资源又会经常不够用。这是因为传统的硬件资源会死板的划分为各个孤岛,资源之间没有任务联系,更没有能够动态调配资源的能力。这样的资源低使用率和资源的僵化死板已经越来越成为限制公安实战业务的瓶颈之一。
云技术是最近几年互联网行业广泛应用的技术,它包括云计算技术和云储存技术两部分。云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池,这些资源能够被快速提供,只需投入很少的管理工作或与服务供应商进行很少的交互。
这是NIET(美国国家标准与技术研究院)给出的云计算的定义,主要是突出云计算可提高资源的使用率和便捷快速的特点。云计算技术现在已经在各级公安的平台中获得了一定的使用。云计算可实现物理资源虚拟化,可将所有的硬件资源虚拟为一个资源池,所有的硬件资源都可以按需分配。当需要资源时,用户可按照需求创建符合性能要求的虚拟机。例如,当用户对布防布控需求高时,可创建出多台虚拟机支撑。当布防布控的需求变少时,多出的虚拟机可回归资源池支持别的功能。实现整个资源池的资源动态分配,大大提高了系统的资源使用率。
在公安行业,随着摄像机数量的增长和分辨率的提高,对视频的存储空间需求也在增长。而视频的快存快取、数据的安全性、存储池的动态扩展对存储系统提出了新的需求。云存储是在云计算概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
云存储采用数据切片存储和并行读写的特点满足了视频快存快取的需求。云存储的跨节点冗余备份机制可以进一步提高系统数据的安全性。最后,云存储横向动态扩展的特性保证了系统在不改变的情况下,可以任意添加存储资源到资源池中,极大的提高了系统的可扩展性。
云计算和云存储拥有着诸多的优点,虽然目前在公安的平台中使用率还不高,但随着技术的进一步成熟,必将成为公安实战系统的未来发展趋势。
四、结语
大数据和云技术起源于互联网,它们天生拥有着众多的优点,而这些优点又恰恰能为公安的实战应用提供多方面的便利和好处。相信随着技术不断的从互联网向公安行业的定制化移植,大数据、云技术必将成为公安实战系统的技术发展趋势。
微信扫描二维码,关注公众号。