对于安防行业来说,随着高清化、智能化以及物联网的快速发展,已经积累了海量的数据。有这么多海量数据,但是普遍存在因为数据价值挖掘不充分的问题,导致数据价值密度普遍偏低,这个问题也成为了客户的一大难题。
从2018年开始,AI、AIoT、大数据、云计算等概念就成为科技圈的热词,更是资本市场角逐的“战场”。
将这些前沿技术落地应用最广泛的场景,当属安防行业,于是,整个安防行业被技术赋能后,产生海量的数据,也带来技术与场景的“碰撞”,数据中台的概念在安防行业逐渐兴起。
大华股份大数据研究院首席架构师江文龙在近日召开的「CSIEC2020-第三届中国安防产业赋能大会」上作了《安防新基建之行业化数据中台》的主题分享,详细介绍了在新基建的推动下,安防行业的数据中台建设情况以及面临的机遇和挑战。
通用数据中台的特点
2018年,政府提出“新基建”概念,2020年,开始加快新基建的建设和部署。
江文龙认为,新基建的本质是为了支撑传统产业向数字化、网络化、智能化发展。而数据中台的本质则是大数据的延伸,是打通数据孤岛、实现数据互通,以及实现数据智能化必备的手段。数据中台也将成为这个行业下一轮建设的新趋势。
在数字化转型时代,数据无处不在,利用数据驱动的思想和理念也业界已经形成了共识,而数据的价值在这个行业也得到了非常普遍的验证。
那么,如何从数据当中获取价值,就需要由数据智能来进行驱动。
打个比方,假如把数据比作石油,那么数据智能就是炼油厂,负责从数据当中分析、提取价值,以实现将原始的数据转变成知识和信息,以支撑业务决策和行动。
结合数据智能的发展历程,站在业务的角度去看,已经经历了收集、监测、洞察、决策这四个阶段,数据的价值也得到大幅度的提升,未来数据智能将向人机协同的重塑阶段发展。
数据中台是实现数据智能化的核心载体。
数据智能本身是实现预测和决策的,在这个过程中必须有一个强有力的平台以支撑调动一系列的数据,以及调动相关的业务模型和面向各种场景的分析处理的能力。
对于数据中台而言,本质要解决两个问题,第一个是帮助企业“看现在”,另外一个是帮助企业“看未来”。
“看现在”,是指对现有的数据进行治理,形成资产。
“看未来”,是指对数据进行分析提炼,以支撑业务的决策。
数据中台将要形成高能力级别的复用平台,以实现对业务的支撑,实现敏捷的迭代。
但是目前关于数据中台的理解和建设,也存在一些误区,主要有两点:
第一个误区,是认为建设了一些Hadoop大数据的组件就完成了大数据的建设。但是从现在来看,所谓的大数据必须从业务来看,比如数据的采集、治理、存储,面向各行业的分析引擎,以及上层的一系列数据管理开发工具集;
第二个误区,是认为通用的数据平台可以赋能千行百业。数据中台在某个行业里面取得了成功,并不代表能在另外一个行业可以直接复制利用。
因为每个行业具备不同的业务属性、业务流程,以及相关规范,而且数据类的项目又普遍存在一些定制化的属性在里面,所以必须要先理解业务,由业务进行驱动软件功能的改进,以实现对数据的高效治理,以及对相关模型的构建,从而有效地提升数据的价值,支撑行业的应用。
安防行业数据中台的特色和架构
对于安防行业来说,随着高清化、智能化以及物联网的快速发展,已经积累了海量的数据。
有这么多海量数据,但是普遍存在因为数据价值挖掘不充分的问题,导致数据价值密度普遍偏低,这个问题也成为了客户的一大难题。
对客户而言,希望通过大数据分析提升数据的成效,另外根据各个部委的政策和相关预算的增加,推行了这块业务的发展。
简单来说,由于客户业务的驱动,以及在对应领域的布局,并随着对业务的理解和技术的积累,从而实现利用中台的技术,形成相应的产品和解决方案,来支撑业务的诉求。
通过数据中台,将有效地实现数据的治理以及价值的提取。
大华认为,行业的数据中台,不应该是一个通用的技术中台,只提供通用的技术组件和技术能力,而不对业务结果负责。
数据中台必须要理解业务,要以业务的成功作为数据中台建设成功关键的评价标准。因为只有贴近业务,数据中台才能真正地发挥价值。
从数据链路上来看,业务会产生数据,数据最终需要对中台进行接入和整合,而在这个过程中必须要理解业务,才能有效地实现数据资产的落地。
数据经过梳理形成资产,通过数据服务进行发布,并且进行重新结算,这个过程中必须要实现对业务的理解,从而才能有效地提供相应的处理流程,以及对应的处理引擎,最后业务是利用价值的数据进行重新的应用,将会产生新的数据,从而对数据中台进行新的数据补充。
从业务的数据流来看,只有对业务的理解,以支撑业务的成功,这个数据中台才能真正地服务于业务。
对安防行业来说,有很大一块数据量是不可忽略的,它就是以视频图像为主的感知数据。
而在实际客户的场景应用中,系统之间存在数据割裂、数据融合不充分等问题。
对于行业在建设数据资源池的时候,不仅仅是需要从一些信息系统里面去拉取数据,同时还需要考虑以建设感知数据为主的数据资源池。
感知数据为主的资源池有一个特点,它具备丰富的时空属性以及具备海量的动态数据,从而能够有效实现对业务的创新,同时通过统一的、融合的数据资源池的构建,将有效解决数据孤岛、数据融合的问题,提升数据的应用价值。
所谓的数据融合,不是简单地将现有系统里面的数据全量拉到中台内部,而是要从业务价值的角度去考虑。
比如以公安系统现有的已经建设的视频智能系统为例,数据不可能全量地搬进去,对于建设的成本,以及现有业务的冲击挑战都是非常大的,所以需要从现有的业务角度出发,不仅需要具备数据汇聚的能力,还要有数据连接的能力。
数据连接的能力是对现有建设的视频图象数据能够通过逻辑管理的方式,使中台提供统一的数据服务能力。
中台同时还需要具备能力复用的方式,将现有的视频能力、智能能力整合进中台里面,使中台在解决原有的结构化数据能力之上,同时还能提供视频图像智能化处理的能力。
在构建这样的行业数据中台的时候,需要考虑的是,充分地从业务的现状出发,整合已有的系统,复用现有的数据和能力,从而构建一个物理分散、逻辑集中的全融合数据中台。
中台有很大一块业务就是治理,所谓的治理,不仅是针对一些信息系统的静态数据做通识的处理、智能的转换等等业务逻辑,同时还需要深入到感知设备,理解感知数据,知道这些数据如何治理。
因为感知数据具备点位的经纬度信息、时间信息,这些信息的错误将严重影响到数据实战的效果。比如说公安做一个防护的业务,如果点位的错误,出现一条误报,将出现警力的占用问题。
所以,行业的数据中台在进行业务应用的时候,需要深入行业业务,沉底行业化的数据治理方法,构建全域数据治理能力,从而有效拦截错误的数据,形成纠正机制,提升数据的质量,从而提升数据的实战价值。
业务有成效,离不开平台的支撑,平台作为数据开发的工作平台,起到至关重要的作用。
首先,平台是需要沉淀对业务的理解,成为数据开发人员的“好帮手”。
所谓“好帮手”,包括承接行业的数据标准、业务处理流程,加快数据治理、数据开发等过程中的效率。
同时还平台需要具备一个高效的计算能力。
高效计算能力不止是针对数据提供面向各种场景的分析引擎,同时还需要理解业务的计算过程,比如说针对时空数据的计算,可以通过如何减少数据搬迁的方式来提升计算的效率,正是这样对业务不断地理解,从而使平台成为行业特色化的平台,这样能够有效地承接业务的理解,以及提升计算效率。
有平台、有数据,数据要么形成资产被应用,要么被重新计算,在这个过程中,离不开算法的支撑。
从数据进来到被管好的过程中,算法在一系列的场景中都有出现,包括数据进来的时候,进行一些文本的处理、字段的自动映射等等。
平台内部沉淀了各种各样的数据,平台必须要能够沉淀对应的算法处理的能力,比如说时空的算法、数据挖掘、机器学习等等一些算法能力,以支撑从各类数据当中提取数据的关联关系,挖掘多维数据关系,从而最大程度地获取数据的价值。
因此,多维体系算法,也是实现数据驱动业务智能化发展的灵魂。
企业面向客户不止是提供一个平台解决采、管、用的问题,同时还需要解决客户的痛点,解决数据的孤岛,实现数据的融合,形成统一的资源池。而在这个过程中,对平台提出了新的要求,需要具备共享和开放的能力。
所谓共享和开放的能力,是指能支撑多厂商基于统一的平台而进行开发,而在开发的过程中,需要保护数据厂商之间的数据资产,这就需要利用到多项目管理的方式。而在项目之间进行数据的共享,就需要利用到数据的隔离和安全审批的机制,实现数据在项目组之间有效地、安全地进行共享访问。
通过多厂商协同开发,通过数据服务发布数据资产和服务能力,共同支撑各行业的数据应用,只有在满足客户的诉求,理解业务的需求,实现对数据价值的保护,才能构建有效的数据服务,建立开放的数据生态环境。
行业的数据中台,必须由业务能力、数据能力、平台能力去构成。
业务能力,不是指中台需要做更多行业的应用,而是要理解业务的处理流程、业务的计算过程,以对业务实现更好的闭环的支撑。
数据能力,是由数据治理服务和多维算法体系构成,光有平台,业务是落不了地的,数据的能力是承上启下的环节,以支撑业务的闭环。
平台能力,是有一个高效的大数据计算底座和一系列的数据管理和开发工具集构成,平台内部需要沉淀数据的处理标准、业务的处理流程、业务的诉求,以及数据服务要满足行业化应用的特点。
只有构建这样一个行业化的数据中台,才能有效地实现对这个行业业务有力的支撑。
大华行业化数据中台在全国多个地市落地,其中在某地市的公安系统建设的数据中台,大华建设的是以感知数据为主的资源池,感知数据占了大头,超过3000多亿感知数据。
从建设成效来看,除了大华之外,仍然还有其它两个数据厂商基于大华的数据中台开发,实现500多个治理任务,日均接近4亿的数据,以及面向20多个数据应用厂商提供数据服务能力。
大华通过数据中台,面向客户实现多警种的数据共享,以及通过数据整合,有效消除了数据壁垒,并且通过模型大幅度提升各警种的业务实战能力。
行业数据中台的趋势
第一个趋势是,未来,数据和业务将进一步融合,并且相互促进、相互迭代,加快感知数仓在行业的落地。
在数字化转型和大数据建设深化的阶段,业务的共识将会随着业务成效的提升,以及底层相关政策的指引,加速数据的融合,并且在这个行业当中将形成以感知数仓为主的数据资源池落地。
通过感知数仓落地带来两个影响,第一是对现有的视频物联系统里面的数据质量,以及通过数据质量的治理、纠正,将有效地实现业务实战价值的支撑。第二个是由于感知数仓具备丰富的鲜活的数据,比如说动态轨迹、关系轨迹等等,将有助于实现业务的创新。
第二个趋势是,人工智能使能数据分析,强化数据驱动业务智能。
数据中台加上人工智能,将使数据中台插上新的翅膀,将成为数据中台新的发展方向,提供一个新的动能,将强有力地实现利用数据驱动业务智能化的发展。
在数据中台的各个过程当中,都可以加载智能的能力,有非常多的场景,比如说在数据治理的过程中自动形成智能化数据标准,在构建数据资产的时候,自动进行数据资产的相关分析,质量追溯。
大华结合公安的样板数据,通过机器训练的方式,实现业务数据自动打标,比如说构建同行人、套牌车等等相关的模型,通过数据中台加上人工智能,将支撑业务在降本增效、业务创新,以及面向业务的快速响应,提供强有力的支撑,将强化数据驱动业务智能化的发展。