1.概述
2018年1月,全国公安厅局长会议提出了"实施公安大数据战略,打造数据警务、建设智慧公安"的部署要求。会议认为,要牢牢把握大数据发展大势,牢固树立科技是核心战斗力的思想,按照推进政法工作智能化建设的要求,把大数据作为公安工作创新发展的大引擎、培育战斗力生成新的增长点,大力实施公安大数据战略,着力打造数据警务、建设智慧公安,全面推动公安工作质量变革、效率变革、动力变革,努力实现公安机关战斗力的跨越式发展。
智慧警务的核心是大数据驱动下的警务机制体制改革,大数据推动智慧警务的发展战略,使数据成为了重要的战略资产,而目前在公安信息化建设的过程中,面临的问题是数据爆炸式增长与数据长时间、高安全、低能耗存储和高效率、高精准应用之间的矛盾。各地公安部门投入巨资建设了大量的监控、人车卡口、虚拟身份信息采集等前端感知设备,整合积累了大量的公安内外部、动静态数据,如何将这些海量的大数据转变为公安实战和服务能力,主要存在四方面问题:一是数据存储时间短,很多重要的视频、图像、文本及业务数据受限于存储资源、存储技术及存储成本的限制,只能保持3~6个月,甚至更短的时间,造成重要价值数据丢失。二是数据缺乏统一管理,业务数据存在不同的系统内,数据资源未能进行统一管理、检索和跨系统间高效便捷的数据融合共享应用。三是数据应用效率低,各警种建设的应用系统形成新的"数据孤岛",与"加快数据流、业务流、管理流融合"的警务大数据思维要求差距较大,尚不能从情报、指挥、行动、管理、运维等公安业务维度对有价值的数据进行充分挖掘利用,数据赋能应用能力较差。四是数据存在安全隐患,数据存在被篡改、破坏、病毒入侵的风险。
D-BOX是一个能为公安行业用户提供数据绿色安全存储和N次分析服务的轻量级DT系统,D-BOX的核心是基于蓝光数据沉淀的大数据应用,通过光磁融合存储构建存储力,通过CPU-GPU异构融合计算平台构建计算力,存储力实现价值数据的长期、安全保存,为计算力提供数据基础;计算力实现数据的N次碰撞、价值挖掘,为存储力提供更高价值密度的数据,存储力和计算力相辅相成,实现"存储过去、预知未来"。为实现数据引领警务创新、智能驱动警力提升的目标提供数据服务基座和业务能力支撑。
2.为智慧警务保驾护航
D-BOX提供强大的光磁一体存储能力和异构融合计算能力,并以数据平台作为核心组件,在智慧新警务建设中,D-BOX可提供如下三大基础能力:
1、价值数据的长期、安全、绿色存储:基于D-BOX的光磁一体存储能力,蓝光光盘对价值数据的保存时间可长达100年,远远高于磁存储的3-5年保存时间;蓝光光盘通过了德国T?V在高温高湿、强光、水浸、强力弯曲、划伤等方面严苛的检测,对黑客和病毒免疫,抗电磁辐射,保障了价值数据存储的安全性和可靠性;同时,在同样存储容量下,蓝光存储耗电量仅占磁存储的5.63%,绿色环保效能明显。有效支撑公安价值数据的永久保存、长效应用。
2、数据资源的持续价值沉淀和信息增值:基于D-BOX的异构融合计算能力,对视频、图片进行结构化解析,实现数据资源的第一次价值沉淀和信息增值,推动公安视图应用由"看视频"到"查视频"的转变;突破公共安全价值数据存储和应用的时空限制,围绕人、地、事、物、组织等公安关注要素,构建全时空覆盖、多维度融合的目标精准画像,实现数据资源的第二次价值沉淀和信息增值,推动公安实战和服务向精准化、便捷化转变。随着技术和算法的提升,基于永久保存的数据资源,可实现持续的价值沉淀和信息增值,有效支撑"信息化建设提质增效,实现战斗力生成模式的转变"。
3、数据资源的全面接入、统一管理:基于D-BOX的数据平台,以"整合资源、共享数据、提供服务"为目标,有效整合汇聚公安内部、动态感知、社会面的全方位数据资源,形成跨部门、跨警种、跨地区的公安数据资源管理与共享体系,提高公安信息化深度应用、高端应用、合成应用能力和水平;完善情报信息主导警务机制,提高多侦联动、多轨联控和预警防范能力,有效支撑"大数据驱动警务机制体制改革"。
在智慧新警务建设中,基于上述三大基础能力,以D-BOX为核心构建公安数据资源统一管理和共享体系,按照视图库标准和警务大数据建设要求,实现公安内外部、动静态各类数据资源的统一接入汇聚、视图数据解析、数据统一管理、数据价值挖掘,为公安各警种业务应用提供模块化的数据服务。
3.产品组成
D-BOX采用软硬一体,下图为产品的整体外观图,由基础硬件、数据平台和应用生态三部分组成。
图D-BOX产品组成图
(1)基础硬件
D-BOX在基础硬件部分提供总容量为2.76PB的存储硬件、提供具备超强计算能力的高密度服务器和GPU阵列,并提供了1台万兆交换机用于内部组网和2个47U标准机柜。
(2)数据平台
D-BOX基于灵活开放的架构提供数据平台服务,提供以下五大服务:数据采集服务、大数据治理服务、数据资源管理与共享服务、数据应用服务和用户中心。
(3)生态应用
以D-BOX开放的数据平台为基础,可集成各类业务应用厂商的业务系统或平台,基于核心部分提供的数据存储和数据分析服务,围绕价值数据快速打造满足行业业务应用需求的功能和服务,将数据赋能应用,应用衍生数据,通过数据与应用的双向催生,实现创新的应用裂变,形成创新应用百花齐放的局面。
4.系统架构
图基于D-BOX的智慧新警务建设系统架构
按照D-BOX基础设施、数据平台和应用生态的产品组成,基于D-BOX的公安信息化系统从逻辑上分为基础设施层、数据资源层和应用生态层,其中基础设施层和数据资源层是核心必备部件,应用生态层是选配部件。
基础设施层:基于D-BOX的异构融合计算能力和光磁一体存储能力,按照云架构,整合形成统一的计算服务、存储服务,并按照省、市的规范要求和顶层设计,支持负载均衡和弹性扩展,为公共安全信息化系统建设提供集约建设、集中运维、标准服务的基础设施支撑,提供视频图像接入、转发、解析、存储及光磁对接服务。
数据资源层:基于云计算架构,围绕数据支撑体系建设,建设数据接入体系,针对公安网、视频专网、政务网、互联网、移动信息网等多种网域,及结构化、非结构化、本结构化等数据类型,以及实时和离线等多种数据流方式,按照数据标准体系实现多种方式的集成化数据采集;建设数据资源体系,开展元数据管理,实现数据标准化、数据预处理、数据组织等功能,按公安要素主体建设主题库,按专题信息建设公安专题库;建设数据服务体系,提供数据建模、智能云搜、数据可视化、视图数据服务等服务。实现公安机关掌握的各类海量数据以及数据湖海量数据的接入、存储、管理和价值挖掘。
应用生态层:基于公安大数据战略,结合指挥、管控、侦查、防控等公安实体或虚拟化业务组织的实战需求和立体化防控视频云、智慧警务等应用场景,构建应用生态,实现业务应用的灵活拓展、持续优化、优胜劣,面向智慧新警务服务对象提供精准、快捷的应用服务。应用生态层是选配部件,根据需求内容和规模选择相应的应用生态软件。
5.基础设施服务
(1)光磁一体存储服务
1套D-BOX可以提供的存储资源包括:
磁存储:360TB磁存储空间;
光存储:2.4PB蓝光存储空间。
光磁一体存储服务包括存储配置服务和光磁对接服务。
存储配置服务
存储设备的存储划分、存储策略、存储内容和存放方式配置。
接受客户的数据检索请求,提供数据的检索、查看和下载服务。
光磁对接服务
光磁对接服务集光存储的高可靠特性与磁存储的高性能特性于一体。所有接入的数据为了保证存储的效率,可直接保存到磁存储区,在经过智能分析处理为结构化数据后归档到蓝光存储区,保证数据的稳定可靠及长久存储。用户也可以选择存储路径,直接将数据存到磁盘或光盘中,可设置存储计划和策略,比如在空闲时间段内,自动将存储于磁盘中的数据转存到光盘中,或将光盘中的数据预热到磁盘中,提高数据的存取效率。
(2)异构融合计算服务
1套D-BOX可以提供的计算资源包括:
?高密度服务器:提供16颗高性能CPU,共256核,提供2048G内存。可供搭建16个Hadoop大数据节点。
?GPU阵列:提供16块NVIDINGPU高性能运算卡。
异构融合计算服务包括视图对接转发服务和视频图像解析服务。
?视图对接转发
进行与视频管理平台的级联对接,实现视频资源接入到D-BOX。
提供视频流的转发及分发服务,可将一路视频流分发成多路,支持标准的GB28181视频传输协议,支持级联和分布式部署、流媒体集群和载均衡。
视频图像解析
视频抽帧结构化、特征提取、浓缩摘要、视图增强
6.数据资源服务
数据资源服务是D-BOX在公共安全应用的核心,分为公安视频专网和公安信息网双网建设。建设内容包括大数据支撑、数据库框架、数据资产库和数据支撑服务。
(1)大数据支撑建设
随着公安信息化系统的建设,视频监控、Wifi嗅探、电子围栏等前端感知设备大规模建设,公安内部数据以及社会面采集数据接入规模及类型日益增大,产生了大量非结构化、半结构化和结构化数据。如此海量、多源的数据,传统的关系型数据库已无法有效地进行存储、检索及分析,需要采用面向"大数据"的专门技术和方法进行处理。
(2)数据库框架建设
在公安视频专网内,按照《公安视频图像信息应用系统》(GA/T1400-2017)标准,建设视频图像信息数据库的接口、应用、管理三大功能模块,搭建视频图像信息数据库的体系框架。
在公安信息网内,按照公安部、省厅对警务云建设的标准要求,实现多源数据的采集、存储、治理、计算和共享,搭建警务大数据系统框架。
(3)数据资产库
数据资产库采用双网部署,汇集公安内部、动态感知、社会面采集等数据资源并实现数据整合、计算、共享、应用支撑。在公安视频专网,建设视频图像综合资源库,主要实现视频、WIFI嗅探、电子围栏等动态大数据的接入、整合、组织、计算和服务,按照一人一档、一车一档、一地一档和一事一档建立数据专题库,同时按照上级视图库的数据要求向上对接;在公安信息网,通过级联接口,实现对公安视频专网视频图像综合资源库的数据接入,围绕上级警务云建设要求和本地警务应用需求,视频图像数据与公安内部、社采等数据相结合,建设本地警务云,形成基础库、标准库、主题库、专题库。同时,本地警务云与上级警务云按照标准要求实现数据交互和本地化应用支撑。
图数据资产库双网架构
(4)数据支撑服务
在"双网"内基于上述基础库、主题库和专题库,向业务应用提供数据支撑服务,主要包括:数据建模、智能检索、数据可视化。
7.应用生态
基于D-BOX强大的数据存储、智能分析能力和开放统一的数据管理和共享平台,D-BOX可集成各类业务应用厂商的业务系统应用软件。以价值数据为核心快速打造满足公安各业务应用需求的功能和服务。部分应用生态软件列举如下:
(1)公安人车综合分析系统
人车视图综合分析系统,为公安机关、各部门警种提供视频图像综合应用服务,解决视频图像信息汇聚整合力度不够和综合应用的深度不够的问题,推动视频数据在各个领域应用的深耕细作,探索视频数据应用服务的全新建设模式。
(2)交管车行云系统
面向公安交管部门,基于通行过车信息、车驾管信息、违法事故信息等交通管理相关信息数据,集通行监控、缉查布控、实战分析等三大功能于一体的综合大数据分析应用系统。
(3)警务大数据业务管理系统
提供对公安各类型数据的数据采集、数据存储、数据治理及数据计算服务,数据采集过程包括对海量数据进行抽取、过滤、清洗、转换和加载等ETL过程;数据存储包括对数据维护、查询及可视化展示;数据治理包括数据的维度清洗、数据模板管理、数据安全管理等;具备多源数据采集的能力、具备用户可操作的大数据模板管理能力、模板组织和资源可视化能力、维度管理的能力。
(4)公安情指综合业务系统
立足于各业务警种部门的合成研判、情报与行动的联动作战,根据"面向全局、服务实战"为引领,以"功能最强、资源最多、权限最高、程序最简"为原则,以"整合资源、聚合手段、融合保障"为核心要求,以"大案同步上案、小案按需上案"为基本模式,按照"情报牵头、多警种联动"的运行方式,实行全市跨区域、跨警种统一指挥、整体攻防的工作机制,开发建设集数据合成、研判合成、手段合成、队伍合成等目标功能于一体的情报平台。