技术动态 > 正文
衡量行业数据中台建设成效的几点思考
2021/1/19 11:22   中国安防      关键字:数据中台 思考      浏览量:
数据中台作为数据基础设施承载的核心系统,已经在各个行业开展了大规模的建设。据统计,国内纯软件数据中台的投资规模超百亿,巨大的投入和建设也带来一系列的困惑,比如数据中台对业务的成效如何体现?数据中台能给周边系统带来哪些好处?数据中台为整个行业带来了什么样的影响?
  整个社会的生产生活从某种角度来看,几乎都是由社会上各个单位、公司、个人形成的大大小小的单元,针对资源或数据进行传输、存储、加工、组装、生产、交换、循环等等一系列的过程组成的。在价值牵引下,资源或数据在无数次这样的过程中被不断地进行重组或整合,产生的无数成果又激发出更多的价值点,进一步推动更多的资源和数据进行重组。在这无数个过程中,又有相当一部分的过程是为了让其他无数个过程更优而进行的过程。例如修建高速公路和物流中心这类过程是为了让无数个运输过程变得更优的过程。以数据来说,整个数字信息行业蓬勃发展,信息化、数字化建设席卷各行各业,物理世界中海量的传感器和控制器结合人工智能技术组成的AIoT感知网络每时每刻都在产生巨量的数据,数据产品每时每刻都在感知世界,同时也对世界产生前所未有的影响。为此人们构建海量的数据基础设施以进行数据的传输、计算、存储、重构、挖掘等过程,也就是优化社会生产过程中海量数据和资源的重组过程。
  数据中台作为数据基础设施承载的核心系统,已经在各个行业开展了大规模的建设。据统计,国内纯软件数据中台的投资规模超百亿,巨大的投入和建设也带来一系列的困惑,比如数据中台对业务的成效如何体现?数据中台能给周边系统带来哪些好处?数据中台为整个行业带来了什么样的影响?当前的数据中台是否符合未来的发展方向?等等,这些问题其本质上是在问怎样评价一个数据中台的建设成效,这是一个值得探讨的话题。笔者作为多年从事行业数据中台一线设计和开发的从业人员,结合大量行业数据中台的建设经验和相关理论研究,认为可以从以下几个维度作为评价行业数据中台的出发点:
  1.业务价值。一切面向价值,数据中台应首先服务好所在行业,要评价数据中台我们可以考察它能给行业业务带来哪些价值提升。
  2.数据资产。一切围绕数据,数据中台是围绕数据搭建的基础设施,要评价数据中台我们可以考察它多大程度上让数据更有序、更丰富。
  3.业务创新。创新驱动过程,数据中台通过围绕数据实现创新过程来实现业务价值,要评价数据中台我们可以考察它是否优化了创新过程。
  4.组织分工。优秀的系统架构引导组织分工的优化,优秀的数据中台面向业务价值合理分布数据和资源,从而影响生产力分工和组织架构。要评价数据中台我们可以考察它是否让组织和分工得以进一步优化。
  结合安防行业的特点,以下详细阐述这些要求的具体内涵以及衡量方法。
  一、业务价值
  行业业务逻辑决定了数据流动的方向,直接影响数据在哪里存储、在哪里计算、在哪里交换等。理解了业务架构就理解了数据的生命周期、流动方向和价值点,从而能够在合适的时机和位置精准地处理数据,抓住业务痛点,精准地服务于业务场景。行业业务理解程度的深浅直接影响到数据中台建设成效的高低,必须深入理解行业理解业务才能有效支撑业务价值。数据中台的核心属性是面向业务,以业务为导向,用数据支撑业务价值呈现,因此数据中台首先应该是为行业服务来实现业务价值,可以从以下三个维度来考察数据中台对行业业务价值的提升:
  1.以数据提升业务质量
  从业务诉求出发,借助数据中台提供的数据服务来提升业务质量,例如智慧城市场景中的交通优化。为了缓解城市交通情况,通过分析各个路段、路口经过的车流量和红绿灯状态,借助数据挖掘技术计算出城市的交通状态,进而能够预测未来5~15分钟的城市交通状态,基于海量预测结果,经过反复计算得到较优的城市交通信号灯的状态,达到总体交通情况缓解的目的。再如,从治安业务角度,为了更好地管理城市流动人口,通过将城市人员的相关登记类数据、业务办理数据、交通数据等进行统一地汇聚、标准化、整合,形成人员主题库,进一步基于业务的要求计算城市人口的各项指标、发现可疑人员、治安重点区域等,从而进一步去实地摸排可有效驱离各种治安隐患因素,提高治安工作的效果,增强人民幸福指数。
  2.以数据内生业务需求
  数据中台汇聚了行业领域内海量的数据和丰富的数据种类,这些数据经过清洗、标准化、整合之后,形成了高质量的要素主题库和各种标准原始库。从数据出发,通过分析研究这些数据可以进一步看到业务过程中的细节,从而发现业务过程的遗漏项或改进项。通过分析这些细节的数据,找到改进的路径和方法,从而使业务进一步优化,甚至发展出新的业务服务。
  以安防行业为例,公安部门构建数据中台以后,汇聚了视频、图片、感知数据、登记类数据等各种丰富的数据种类,这些数据经过全套的数据治理后,不仅支撑了公安业务,也能够横向支撑智慧城市中的其他业务部门,比如为民政局、工商局等部门提供人证核对、背景研判、轨迹研判等服务,从而方便城市其他部门更好地为城市居民提供高质量的服务。再比如,智慧城市中的其他部门在使用了视频数据和相关的视频智能分析服务之后,发现可以用来管控工业企业的环保工作,例如监控偷排污行为等。进一步通过跟电力、水利部门的横向拉通合作,分析电量和水量使用情况就可以判断出该企业是否在从事违规生产等。
  3.数据和业务相互驱动良性发展
  数据中台从业务系统汇聚数据、清洗数据、治理数据、整合数据,通过对数据进行计算统计分析挖掘,为业务系统提供服务。业务系统从数据中台获取到所需要的数据服务,通过自身业务逻辑为客户提供业务服务,在跟客户或周边其他系统的交互过程中会不断产生新的数据,业务系统搜集并记录这些数据,通过数据同步通道反哺回数据中台。
  通过以上数据和业务之间的数据流循环,两者之间互为补充,在这个过程中,数据中台的数据量越来越大,数据种类越来越丰富,结合与时俱进的业务需求不断优化计算挖掘算法,提供越来越强大的数据服务,覆盖越来越广泛的业务范围。业务系统则借助于数据中台提供的与时俱进的数据服务,能够更好地服务于客户,从而吸引越来越多的客户请求服务,扩大了客户服务的范围。随着客户对业务系统信任的增加,业务系统有机会提供更多的服务给客户,使业务系统的服务广度和深度都得到了提高,与此同时也积累了更多更大范围的数据反哺给数据中台。数据和业务的循环互补关系的健壮程度是衡量数据中台业务价值的一个重要方面。
  二、数据资产
  数据中台是围绕数据搭建的基础设施,数据资产是数据中台所提供的数据产品,要从数据资产角度评价数据中台,我们可以考察它是否让数据更有序、更丰富。数据在进入数据中台以前往往存在于各个应用系统或者数据库中,这些应用系统和数据库一般是为不同的业务目标而设计开发的,所以参照的设计标准也各不相同,应用系统也参差不齐,因此这些刚刚汇聚到数据中台的数据往往是较为零散,有较多问题。让数据变得有序是建设数据资产的第一步,一般需要做到以下三点:
  1.系统性地了解数据的种类、来源、产生机理、特点等,以便于根据数据的不同特点施加不同的治理过程,使数据治理有更强的针对性。
  2.为了方便来自不同系统的数据能够相互通联,需要给数据中台制定统一的标准规范,通过定义统一的数据元、数据格式等来统一表征同一类含义的数据。这些标准规范可以参考国家规范、省部级规范或地方规范,也可以自定义进行补充。
  3.有了数据规范,结合业务目标,需要对数据进行全面的质量清洗,使数据达到较好的质量状态,以便于后续的数据计算、统计和分析挖掘。
  在高质量的数据基础上进一步让种类更多的数据有效融合,通过价值提炼产生更丰富的数据结果是实现数据资产的第二步,可以从以下三方面来评价:
  1.体系化的行业主题库。以行业业务为导向,明确行业关注的实体要素,融合多种数据,基于实体要素和行业业务特性构建体系化的行业要素主题库,以达到基于要素维度整合行业数据的目的,支撑行业要素的主题应用。
  2.体系化的行业数据指标库和分析模型库。在标准库和主题库的基础上构建行业场景化的指标和标签体系,以方便基于业务视角的快速筛选、统计和交叉分析。进一步结合业务难点,融合行业特色数据,构建一套能够覆盖行业重点复杂业务的分析算法模型。以公安行业为例,通过构建人员背景、行为、时空、感知等多种类型的大量指标来刻画人这一主要要素的关键特征。进一步通过融合视图感知和登记类数据,围绕人、车等关键要素构建感知专题算法模型体系,从而有效支撑例如涉黄、侵财等复杂业务的研判。
  3.高效全面利用数据中台的数据资产。数据中台应能够有方法和工具,全面利用数据中台的所有数据资产,并且能够支撑高效地选取、计算和分析。例如,通过分析数据与数据之间的关联关系,结合业务逻辑,融合多维数据、主题、指标和分析模型结果,构建大范围的数据连接,同时提供高效的检索、关联分析的手段,支撑数据溯源、关系推理、线索推荐等功能,从而最大化数据资产的价值。
  三、业务创新
  创新驱动业务价值实现过程,数据中台通过围绕数据的创新过程来实现业务价值,要评价数据中台我们可以从以下三个方面考察它是否优化了创新过程。
  1.创新加速。信息系统的变革和创新带动生产力的大幅增长,但往往构建一个信息系统需要拉通多方数据、计算、平台等资源,长时间协调、不断磨合才能落地,这就导致传统信息系统的创新落地速度无法提高。优秀的数据中台是基于统一的数据标准和数据建模,体系化的指标库和模型库在一个中台中已经具备了数据创新的所有素材,通过提供相应的便于使用和运维的工具几乎可以消除数据、计算资源或平台系统拉通的时间,从而极大加速数据创新的过程。
  2.创新难度降低。基于数据进行创新,往往需要使用者具备建模分析挖掘的技术能力,这就使分析数据的难度较大,多数行业从业者无法直接进行数据分析,即便是简单的分析也因为环境搭建等启动成本较高而被放弃。优秀的数据中台需要提供简单易用的数据分析工具,方便行业从业者直接上手数据分析,并且通过良好的交互设计让使用者能够不断学习和提升分析技巧。
  3.创新氛围改善。方便用户搜集整合数据资产,降低用户分析数据的难度可以大大提高用户动手分析数据的意愿,在此基础上,通过良好设计的可用于创新成果的展示、查找和交流借鉴的平台,将能够进一步激发用户创新的热情,助力创新成果源源不断。
  四、组织分工
  系统架构决定组织分工架构,好的组织分工可保证系统架构的稳定运行,优秀的系统架构也可以促进组织分工的完善和优化。数据中台面向业务价值合理分布数据和资源,从而影响生产力分工和组织架构。从组织分工角度评价数据中台可以从以下三方面考察:
  1.进一步促进分工。优秀的数据中台内部多个技术栈既分层解耦,又基于业务拉通闭环,面向用户提供深度业务化的数据服务,并且这类数据服务迭代速度很快,要能够追得上业务应用的演进速度需要多方同时迭代、相互配合,因此使用数据中台的团队会有明确的分工,有基于数据中台进行数据开发和建模的,也有依赖数据中台进行业务应用开发的,还有基于数据中台运维系统进行日常运维的等等,分工越明确专业性越强,局部专业性越强则数据价值链闭环越强。
  2.改变生产关系提升生产力。基于良好设计的数据中台架构能够有效屏蔽上层应用对底层原始组件或数据的依赖。传统应用程序的开发需要关心各种系统环境、系统接口、系统权限等,同时需要关心自己所使用的数据来自哪几个系统、对接协议、清洗规则等,这就导致应用程序与其他组件的关系过于复杂且无法绕开,导致开发效率低下、上线周期长、问题多。在优秀的数据中台架构基础上,应用程序应只需要关心自身运行环境和所直接依赖的价值数据,其他均由数据中台来提供,例如一个流动人口管理技战法应用只需上传软件包、简单参数配置、上线发布共三步即可完成应用部署上线,因为应用不再关心数据的源头,只关心直接可用的价值数据,也不再关心系统环境中的依赖库是不是全,而只需要打包自己应用的容器镜像即可,这就大大加速了业务数据价值的发挥,提升了业务的整体生产力。
  3.促进业务部门的组织架构优化。一旦业务流程构建在数据中台之上,良好设计的数据中台就会促进业务部门的合理化分工,数据在中台进行统一的拉通、治理和整合,这就有效支撑了跨多个大业务部门的合作,甚至直接改变这些业务部门的组织分工和流程。
  五、实现行业数据中台的思路
  1.要实现高业务价值,必须要以业务为龙头,从设计原则上保证从业务出发,服务于业务,通过聚焦行业业务使数据中台具备强行业属性。如果不深入理解行业业务,只是单纯数据量大或是搭建了一些大数据组件,这都不是真正的数据中台。实际上,业务理解、数据治理和工具组件适配是数据中台实现高业务价值的三个不可或缺的条件。
  2.要实现有序规范和丰富的体系化的数据资产,必须要有体系化方法论,通过研读行业有关的国家法规、省部级法规、行业法规等,基于严谨遵守大胆定义的原则,构建行业数据标准,进一步需要将这个标准沉淀到行业数据中台的软件工具中,方便数据中台的上层用户随时取用核对。同时,基于长期的数据业务化的积累,需要在数据中台中内嵌一批强行业属性的体系化的指标和分析算法模型。结合前置的数据规范化动作,让用户能够开箱即用这些指标库和模型库,同时也扩充价值数据资源池。
  3.数据中台需要集成工具集来支撑创新。为了让用户更快、更容易地进行数据分析、建模等创新工作,数据中台需要提供一套完整的可视化拖拉拽工具集来支撑数据分析过程,将技术难度较高的算法和模型打包成算子单元,内嵌到该工具集中方便用户直接拖拽使用,同时这组工具也需要有良好的交互逻辑,方便用户一边使用一边学习,有效提升数据分析能力。从业务出发,充分考虑用户行为习惯,打造符合行业特性的工具集,将大幅提升行业数据中台的创新效能。
  4.数据中台需要实现一套数据运营系统,以支撑海量数据资产、数据任务、周边系统的展示、统计等一系列的数据运营功能。
  5.数据中台需要配套快速支撑应用发布的业务使能平台,保证应用在数据中台的基础上能够快速进行部署上线,打通数据价值闭环链路。
  6.数据中台是一把手工程,需要有强大的业务理解作为基础,深厚的技术积累作为支撑,最重要的是需要建设单位的组织机制作为后台强有力的保障。要构建数据中台,业务、技术和组织机制保障这三要素缺一不可,实现数据中台实质上就是这三要素的合作落地。
  六、结语
  如果我们把所有社会活动都抽象为一个个过程,整个世界就是不断在发生资源和数据重构的过程,通过无数这些过程,人、资源、数据乃至过程本身,不断地发生、演绎、交互、结束。数据中台则是尽可能把同一个业务领域的所有数据及其处理过程以业务价值最大化为牵引,通过统一的规范和原则有效、有序地组织融合起来集中地进行价值提炼的软件基础设施,这是目前行业数据管理和应用的高级形态,同时也是未来强数据智能的基础形态。
  文 / 陈立力  周明伟  浙江大华技术股份有限公司

微信扫描二维码,关注公众号。