技术动态 > 正文
数据至上的大存储时代,哪类存储最吃香?
2021/2/25 11:37   中国公共安全   罗超   关键字:数据 存储      浏览量:
当然,云存储是基于IT架构,是舶来品,在2019年安防行业的云存储将会在完善多场景化应用的整体系统架构调整和视频数据效率优化两方面大做文章,这也是考量传统安防企业基于IT技术拓展安防业务应用的技术指标之一。
  盛世之下的安防行业,在技术层面进入一个百花齐放的全面竞争时代,如果把存储技术当做一个微观市场,那么,它在当下有何市场百态呢?
  数据至上,三种主流IP存储方式
  视频监控在安防行业三十多年,其存储也走过了几代历程。第一代存储是早期的监控系统采用的VCR存储,VCR存储实现了最基本的记录功能或记忆功能。
  这个存储技术在2000年初较为盛行,韩国品牌为主,国内企业较少涉足。由于年代较于久远,而且磁盘存储的诸多不足,在这里不做详细介绍和点评。
  第二代的存储是DVR,DVR产品的出现让人们眼前一亮,DVR采用数字化视频图像处理方式,并应用了计算机及网络技术,视频存储在硬盘上,实现了存储的数字化,录像很容易在各种数字介质上转移和复制,而视频的质量不会因此有任何的降低。
  另外,DVR的存储也可以实现远程网络的管理。从DVR开始,引爆了当时中国安防的数字化升级浪潮。
  杭州出现的上市部落那几家企业,都是从DVR产品开始企业的技术与资金的原始积累。就到目前为止,DVR仍有市场。
  不过,从宠爱到边缘化,只能说安防的演进之路,它算是一个见证者。
  以网络为代表的第三代存储技术是当下最为关注和最主流的存储方式,其分为三种:
  前端存储
  所谓前端存储,是在网络视频监控系统的前端设备(如网络视频编码器网络摄像机)中内置存储部件,由前端设备直接完成监控图像的本地录制和保存。
  前端存储具有几个方面的优势:一是可以通过分布式的存储部署,来减轻集中存储带来的容量压力;二是可以有效缓解集中存储带来的网络流量压力;三是可以避免集中存储在网络发生故障时的图像丢失。
  对于前端存储,由于单个前端编码设备通常所带监控点路数不多,存储时间也不长,所以对存储容量要求不高,网络摄像机一般用CF卡或SD卡,视频服务器一般用内置硬盘。这与以往单机存储相比,基本没有区别。
  而与以往单机存储本质上不同的是,为了保证用户访问的灵活性和便捷性,网络视频监控系统中的所有前端存储除了要能够提供点对点的单机访问外,还要能够通过一个统一的接口提供所有内容的集中共享。
  为此,网络视频监控系统通过中心业务平台对所有前端存储进行统一管理和调度,并实现存储空间和存储内容的网络化。
  这样,用户既可以直接登录单个前端设备进行录像资料的点播回放,也可以统一登录中心业务平台进行所有前端录像资料的集中检索和回放。
  中心存储
  在网络视频监控系统中,部署得更多的是中心存储。前端设备采集监控点图像并编码压缩处理成数字监控码流,然后通过网络传送到中心业务平台,由中心业务平台将码流分发给网络录像单元进行集中存储。
  在很多大型的视频监控联网应用中,也可采用多级分布的中心存储方式,即分中心存储,这样一方面可以降低一个中心点集中存储带来的存储容量和网络流量的压力,一方面可以大幅度提升系统的可靠性。
  使用中心/分中心存储,在以下几个方面具有明显优势:一是对于用户而言,检索和调用录像资源更为方便;二是存储内容的完整性更容易保证,不会因为某个前端设备失窃或损坏而导致重要内容的丢失;三是可以合理的进行资源调度,为前端设备按需分配存储空间,从而节约资源;四是有利于制定多样化的存储策略,以满足用户的个性化需求;五是维护方便,便于集中检测和及时排查问题。
  对于监控点路数比较少、存储时间要求不长的应用场合,中心/分中心存储可以采用服务器插硬盘或外接磁盘柜这种比较简单的方式进行部署,称DAS,与单机类似。
  而随着网络视频监控的优势被广泛认可,现在开始出现越来越多的大型甚至超大型视频监控系统,比如“平安城市”建设中的社会面治安监控系统、中国电信和中国网通正在全面推进的“全球眼”和“宽视界”这两大运营级视频监控系统,这些监控系统都面临着前端设备的大规模接入和大容量集中存储的需求。
  以往的单机存储方式无法满足这些系统在容量灵活扩展方面的应用需求,必须采用更为先进的网络存储设备和存储技术,其中典型的就是 SAN、NAS以及iSCSI。
  SAN起源于上世纪九十年代中后期,与DAS不同,SAN基于光纤通道技术,服务器和存储阵列之间通过光纤通道交换机连接,形成专用于数据存储的区域网络。
  SAN采用了面向网络的存储结构,数据处理和数据存储分离,具有存储空间易于扩展、寻址灵活、可远距离传输数据、I/O性能高、存储设备利用率高等特点,是一种全新的存储体系结构。
  混合型存储
  对于视频监控网络比较复杂,对存储安全性和可靠性要求又非常高的应用场合,可以采用既有集中存储也有前端存储的部署方式,兼有二者的优势,并规避可能存在的风险,是一种比较好的选择。
  但会带来管理的复杂度和高昂的建设成本,需要根据具体情况而定。这种存储方式在视频监控行业应用不多,平安城市中的智慧警务应用是主要的应用场景。
  总之,网络化存储方式是在视频监控系统中的主流应用,但也从两个方面对存储提出了网络化的要求:
  01部署和访问上的网络化,考虑到流量和存储空间的合理分配,存储设备在整个系统中的部署位置将趋于分布化和前端化,而从便于用户统一访问的角度,系统中所有存储空间对用户都应该是透明的,用户仅需通过一个接口即可访问所有存储资源;
  02存储设备本身的网络化,网络视频监控非常适合大型监控联网应用,为了满足大容量集中存储的需求,存储设备本身要采用先进的网络存储技术以保证空间扩展的灵活性。
  边缘存储技术欲将成为IP小场景存储应用主流
  可以明确,当下视频监控的存储技术依赖网络,就此我们来探讨一些新的亮点。随着海康的AI  Cloud在2017年深圳安博会的发布,安防行业关于边缘计算、边缘AI的话题引发行业热议。其实在存储端的前端存储也可以边缘化。
  如今,大多数 IP 视频监控摄像头都有内置的 microSD 卡插槽以支持边缘存储。机载存储可实现直接视频录制,并提供远程应用(例如网络视频录像机 [NVR]、带视频管理软件 [VMS] 的中央监控系统、移动设备等),即可以通过网络检索存储卡中存储的视频。
  简单来看,边缘存储技术是指录制视频并存储在摄像头或直连存储设备中,而不是通过网络存储到集中式记录设施中。
  这项技术迅速得到了认可,并在 IP 视频监控应用中得到了广泛的采用。通过在 IP 摄像头中使用边缘存储,视频监控解决方案开发人员能够更加灵活地进行系统设计,并获得更多成本优势。
  而系统集成商利用基于本地 microSD 卡的存储,可以针对 IP 网络负载/可用容量、记录冗余和移动访问来优化设计。商业/工业视频监控是一种独特的全天候录制应用,如果使用消费级/零售 microSD 卡很有可能不够可靠;
  因此,选择为行业领先的摄像头制造商设计并优化了固件的高品质 microSD 卡,对于实现可靠、稳健且对维护要求不高的系统设计来说至关重要。
  这种方式的存储主要还是民用为主,但在一些中小企业 (SMB) IP 摄像头部署中,可以去掉中央 NVR 而只使用边缘存储,只需利用合适的监控专用 microSD 卡并采用很多IP 摄像头都具备的先进视频压缩技术即可。
  用户仍可以通过智能手机、PC 或平板电脑,观看视频直播或视频存档。在这种场景应用中,边缘存储可优化现场部署的设备规模、降低存储成本(不需要额外的云存储订阅费用,也不需要带硬盘的 NVR),并降低隐私问题的不确定性(在本地 microSD 卡中记录私人数据)。
  在安防民用化风行的当下,边缘存储是一项新技术,大多数 IP 监控摄像机头支持 microSD 卡插槽,因此无需更改系统或设计,即可集成边缘存储。
  既然已经谈及到了民用化和小场景的监控存储新方式,那么也可以综合来看除了边缘存储之外,对于小场景视频监控存储还依赖哪些新技术。
  安全的外部存储:民用化的视频监控将视频存储在安全的外部存储器中。这种体系结构使用边缘存储来填补由网络与外部存储中断造成的内容缺失。
  随着边缘存储技术的改进,可以解决更多的内容丢失问题,但始终需要一个外部存储。外部存储就是一个解决方案集,包括存储视频和提供访问这些视频的所有软件(包括VMS)。
  双重录制:为了实现高可用性,外部存储必须采用冗余架构。理想情况下,构成外部存储的独立组件的存储介质,相关的硬件和软件(包括VMS组件)应该单独冗余,并具有智能互联性。
  然而,市面上的解决方案将这些组件死死的联系在一起。单个组件失效会导致外部存储失败。例如,服务器的硬件故障导致VMS组件故障和存储故障。对于市场上的这些解决方案,可通过在部件故障期间增加额外的外部存储部件来实现的。
  总结而言,网络存储方式的边缘存储技术解决了目前行业痛点:其一,网络链路容错差,监控视频直接上传至中心云存储,因链路路由和网络抖动等问题造成网络容错性低,链路不可靠;其二,带宽利用率低。
  监控视频直接上传至云端会受到链路质量影响无法提速,造成本地带宽利用率低,成本浪费;本地存储受限,传统监控设备的 SD 或 NVR 的本地存储方案,空间有限,成本较高,读写寿命短,数据安全无法保障且运维复杂。
  而该技术的优点也很明显:
  01就近高速上传,选取就近边缘节点,多维调度智能选取优质链路,保障监控视频数据上传至边缘。
  02自动同步中心,边缘数据自动同步至中心备份,保证数据完整性及安全性,同时支持用户主动备份至云存储。
  03全网实时查看,采用多策略多层次调度,智能选取优质线路,保障用户可全网实时查看监控视频,且支持最高 64 倍速播放。
  04传输高速可靠,多维调度策略选取传输链路,保障传输高速可靠,可充分利用链路带宽。
  05数据多重保护,对数据传输及存储采用网银级加密保护,边缘可自定义处理敏感数据,及时脱敏。
  06兼容对象存储已有功能特性及接口,支持与边缘计算相结合,拓展边缘智能。
  其实这种存储方式在安防行业应用较少,随着IP加速和网络环境的改善,在5G时代的民用小场景应用中,边缘存储技术将会成主流。
  存储技术在向智能靠近
  因AI的到来,关乎智能化的声音渗透到各行各业,而视频监控的存储技术也能智能。那为什么安防行业需要存储智能呢?
  就是因为存储的数据量越来越大,与画面质量的要求、画面尺寸的大小、画面的帧率、存储时间的长短、访问人数等因素有关,这就是从监控图像转向视频数据带来的压力。
  而智能视频存储具体做法是什么,当下有两种方案,一种是在中心存储端努力实现拥有统一文件系统视图的多层架构。这是惯例实施多层、智能存储基础设施是管理视频数据的最好方法。
  多层架构被视为单一文件系统,它包含高性能磁盘、二级磁盘、磁带和云存储,能够让视频文件在高成本效益的状态下长期保留,并快速提取,且在需要的时候容易进行分析,因为该系统管理着数据在层之间的移动,保持了元数据的完整性。另一种是2018年由华为提出的安防行业软件定义的智能存储方式。
  IT界巨头浪潮也依托ICT技术,在去年年底成彭高速采用了软件定义存储AS13000系列解决方案,基于场景化定制,以高速交通数据存储和应用特点为基础,解决成彭高速现有系统的难点、痛点。
  首先,通过软件定义存储构建海量存储平台,并采用元数据集群避免性能瓶颈。系统共有7个AS13000M3节点,单节点配备2块800GB数据中心级SSD、3.5英寸SATA3机械盘(单盘容量为4TB),节点磁盘满配置,系统裸容量达874T,使用容量达561T,充分满足了成彭高速海量数据存储需求。
  结束语
  在大存储时代最为前沿和主流的云存储技术,其实就是之前谈到的中心存储方式的一种。由于最近几年存储专题已经在云存储方面做了详尽介绍,本文就不做重复。
  当然,云存储是基于IT架构,是舶来品,在2019年安防行业的云存储将会在完善多场景化应用的整体系统架构调整和视频数据效率优化两方面大做文章,这也是考量传统安防企业基于IT技术拓展安防业务应用的技术指标之一。
  综合而言,当时间来到了2019,就存储市场而言依然是百花齐放,一部分创新较弱的传统安防存储企业几乎依靠NVR来竞争,当然竞争势头渐趋式微;而传统安防巨头与IT巨头在边缘存储、智能存储和云存储方面与外来者一较高下。
  总之这对于行业是件幸事,毕竟百花齐放才是春!

微信扫描二维码,关注公众号。