技术动态 > 正文
华为分布式云存储VCN3000开启监控大数据时代
2016/5/10 09:05   中关村在线      关键字:华为,监控,存储硬盘      浏览量:
为云存储VCN3000采用分布式架构技术,可以灵活的进行扩展,且性能随容量线性增加,能够更好地匹配视频共享和智能分析业务。

随着大数据时代的到来,传统IPSAN存储由于其系统架构的局限性,在性能和扩展性等方面已经不能满足视频共享和分析业务对存储系统能力的要求,如性能不能随容量线性增长、扩展困难、空间难以充分共享、数据重构时间长导致二次故障频发等等。

而华为云存储VCN3000采用分布式架构技术,可以灵活的进行扩展,且性能随容量线性增加,能够更好地匹配视频共享和智能分析业务。具体体现在如下几个方面:

1、华为分布式云存储VCN3000性能随容量线性增长,能力远胜IPSAN存储

视频联网平台实现对重要案件视频数据进行高效的共享访问和并发分析,不仅要求存储及时响应多用户的实时操作,完成大量录像同时采集和调阅,更必需具备"可持续"的在线性能线性增长的能力。

传统IPSAN存储方案,一个业务只能在一个控制器上工作,实现不了并发读写,极易造成系统整体负载不均;同时设备容量提升到一定规格后,性能会遭遇瓶颈,不能再随容量同步提升。类似于传统的火车,火车头相当于控制器,车厢相当于硬盘框,动力全由火车头提供,运力相当有限,而且当车厢扩展过多,速度将无法提升甚至出现下降。

华为分布式云存储VCN3000采用分布式架构+计算存储节点的方式,允许所有存储节点并行访问整个系统中的任何文件,且可以实现并发读写,相当于多个人干一个活,读写效率远远优于传统IPSAN存储;当设备容量增加时,性能可随容量线性增长,性能无瓶颈。类似于新一代动车组,每个具有独立动力的车厢相当于一个节点,可按需动态增加、运力可随动车车厢的增加线性扩展,效率是传统方式的几倍。

同时VCN3000视频云节点的高效I/O读写性能,能为图像大数据分析平台提供稳定可靠的视频流数据,有力保障了智能分析功能的实时高效。

华为分布式云存储VCN3000可以实现性能随容量线性增长

2、华为分布式云存储VCN3000扩展能力是IPSAN设备的20倍以上

在数字高清时代,视频监控单文件的容量越来越大,每个文件能够到达GB级的规模,视频联网平台存放各省厅上传的视频文件,在项目后期,视频文件的总容量甚至能够到达PB级别的容量,这个时候,项目本身所使用的存储将面临容量扩展的问题。

在安防领域,单台IPSAN设备最高也就能扩展1-2个PB左右的容量,而华为分布式云存储VCN3000随着节点数的增多,最高可扩展至20PB的容量,能够降低整个项目的总体采购投入和管理维护成本。

另外传统IPSAN存储在扩容时需要给上层业务服务器重新分配空间,严重影响上层视频共享业务的连续性。而华为分布式云存储能够自动识别扩容节点,实现秒级部署,不会影响业务。

华为分布式云存储VCN3000可以实现存储节点的自动扩容,不影响业务

3、华为分布式云存储VCN3000可靠性设计远高于传统IPSAN设备

由于视频联网平台存放的都是重要的视频监控文件,如果丢失,可能会对案件产生严重的影响,所以本次项目建设所采用存储必须具备超高的可靠性,且不能因为硬盘或者硬件本身的问题影响整个业务系统的使用。

传统IPSAN存储多采用RAID5方式,N+1(校验盘)+1(热备盘)方式保障可靠性,这种方式的弊端在于Raid5模式下如果坏掉两块及以上硬盘的时候数据将丢失。当有一块硬盘故障需要恢复数据时,在传统模式下1TB数据恢复时间一般都超过10个小时,且硬盘故障后需要立即人工使用备盘更换,维护工作量大,对视频业务连续性和稳定性非常不利。

华为分布式云存储VCN3000采用先进的节点间RAID技术,比传统RAID算法更高可靠、更灵活,在多块硬盘甚至节点出现故障的情况下仍然能够保证视频监控文件的读取和写入,对视频业务的连续性不会造成影响。在数据恢复方面,分布式云存储采用全局热备空间,只重构已经写入的数据,并且是多节点并行处理数据恢复,1TB数据恢复仅需1小时。

华为分布式云存储VCN3000可以实现多达5块硬盘故障或节点故障后,显示界面仍然可以正常播放视频图像,业务未中断。

4、华为分布式云存储VCN3000安防专利,数据完整性技术

按视频联网平台规划,需要管理的前端规模已是数十万路的规模,随着高清摄像头的逐步普及,数据量倍增,作为重要案件数据的核心平台系统,数据完整性和可靠性极为关键。目前,安防业界普遍采用传统RAID5技术保护数据,这意味着2块硬盘故障,整个硬盘组的数据都会丢失,如一般的11盘4TB的RAID5组,一旦损坏即100%丢失约近800小时高清摄像头的数据。另外,单硬盘容量已提升2-3倍,坏盘导致数据丢失量"大得惊人"。

华为拥有数据完整性技术的专利,针对安防视频流数据特点,在云存储中实现"只要有好盘,数据即可读出",同样如11盘+云存储最低冗余为例,2个盘故障,数据仅会损失(非丢失)10%,即监控画面局部出现马赛克而已。结合云存储上述其它高可靠机制,关键数据"0"丢失。

正常画面 传统RAID失效画 华为云存储"失效"画面

云计算助力监控系统产业升级

通过云化调度算法实现视频监控系统三重云化,打造业界最高的安全可靠性(99.999%),也是业界唯一真正实现监控业务端到端云化管理的厂家。

华为云监控解决方案核心产品为视频云节点VCN3000,单设备实现视频接入、存储、转发、管理调度等全业务功能,同时是一台4U高36盘位的高密度存储设备。

云一(设备之间云化):多个视频云节点之间实现动态负载均衡,任何一台设备出故障,其承载业务将自动并发迁移至其它所有健康的视频云节点,保证视频监控全业务不间断(与传统监控平台的N+1集群和N+M备份机制相比核心优势为:无需增加备机,业务迁移为并发机制,效率为N+1集群机制的N倍,云化调度实现了视频业务、计算资源和存储资源的资源池化统一调度,所有业务指令的处理效率都大大提升)。

云二(硬盘RAID组之间云化):单个视频云节点内部多个RAID组之间可以实现动态负载均衡,任何一个RAID组出现故障,其承载业务将自动迁移至其它健康的RAID组,保证视频全业务不间断(传统监控平台无法实现视频业务在RAID组间动态迁移);

云三(RAID组内多块硬盘的云化):通过Safevideo专利实现底层数据管理,每个RAID组内硬盘之间可以实现云化,同时损坏多块硬盘导致RAID组失效后,视频录像仍然可读,最大程度的满足录像数据安全(传统RAID技术,RAID5可以实现1块硬盘损坏后,数据可读,多块硬盘损坏后整个RAID组的硬盘数据全部丢失)。

云监控解决方案与传统解决方案相比可以节约机房空间(以800路1080P画质4M码流为例计算)50%,节约能耗50%,节约人力投入80%,易部署、易维护(硬件设备采用业界独有的部件全模块化无线缆设计,部署维护更加简单)。

VCN3000在平安城市的应用

华为与合肥公安合作打造的天网工程,成为第一个大规模应用"云监控"技术的案例。华为通过对合肥1个市局、7个城区分局和39个派出所的设备进行了充分的调研和分析后发现,如果使用一体化云存储方案,除了极个别的机房需要改造,大部分都不需要新建机房,不仅节省资金也保证较快的交付时间。更值得一提的是,一体化的云存储方案十分节能,按照1.6万个摄像头的"天网工程"来考虑,按照0.56元/度的电费计算,每年还可以节省30万元的电费。合肥天网项目的成功交付实施,充分证明了华为云监控产品是目前业界最具价值的"云监控"产品。

微信扫描二维码,关注公众号。