2005年前后,中国政府发起“建设平安城市、平安社区”的号召,公安部正式启动城市联网报警与监控系统建设(3111工程),在全国范围内推行了创建“平安城市”试点工作。
为了保护国家人民财产安全,建设一个良好的治安环境,很多市政府决定把城市治安监控系统建设作为搞好社会治安、构建和谐社会的一项战略性措施,纳入城市建设总体规划。
华为深刻理解创建“平安城市”是各地政府和公安的“民心工程”,视频数据的安全显得尤为重要,针对这一客户需求,华为于2010年研发并向市场推出了具有SmartData技术的网络视频存储系统。以网络视频存储系统为核心的华为视频解决方案具有“安全可靠的系统构架”、“开放兼容的前端视频接入”、“开放性构架供第三方应用集成”、“视频监控专用优化存储设计”、“智能标记秒级检索”、“关键录像资产管理”、“绿色节能”的特点和优势,SmartData作为网络视频存储系统的重要技术,大大提高了网络视频存储系统的安全性和可靠性。
SmartData是华为技术专门为视频监控应用订制的一款存储应用加速的软件产品,它基于磁盘RAID的存储模式。SmartData除了包括传统RAID5的全部特性外,还具有如下优势:
华为视频监控订制的存储模式
对于视频监控应用,SmartData在安装和自动配置的过程工,已经为所有录像分配了物理上连续的存储空间,这样在整个业务运行过程中,彻底地避免了磁盘碎片的产生。根据视频监控反复覆盖写入的特性,对所有条带采用了随机分配的策略,保证了RAID组中各个磁盘负载的均衡,以及单块磁盘中,各个位置读写频率的均衡,有效地提高了磁盘的整体使用寿命。
SmartData针对视频监控业务长时间写入和突发读出的特性,合并了大量的IO操作,减少磁盘IO数量,不仅提高了性能,也有效延长了磁盘的使用寿命。
安全可靠
针对视频监控覆盖写的特点,SmartData对元数据进行了处理,初始化完成后,元数据不会再修改,降低了元数据被损坏的可能性。为了进一步保证安全性,SmartData为每块磁盘上的元数据做了双备,当其中一份元数据损坏之后,可以立即热切换到另一份元数据上工作,而不会影响任何业务。
SmartData会定期扫描不常访问的条带,如果发现损坏的条带,能够立即恢复,而且能够处理并兼容大多数的磁盘硬件故障,提高了存储业务的稳定性。当发生了自身无法处理的故障或有关键事件发生时,SmartData会通过华为视频监控订制的接口,向业务层递送告警信息。
高吞吐量
SmartData提供了超高带宽的数据吞吐能力,在典型应用场景下,能够提供高达600MB/s的数据写入能力,同时并发提供800MB/s的数据读取能力。而相同磁盘数量的典型的传统RAID5,只能达到200MB/s的写入和约400MB/s的并发读取能力。
LUN永远不失效
传统RAID在视频监控应用中,当磁盘故障导致LUN失效时,原来的数据将全部丢失,这是无法容忍的。视频监控应用不同于银行的数据业务,视频数据允许有一定的丢失或错误,播放器会兼容这些问题的。
鉴于此种场景,SmartData应视频监控需求,提出LUN永不失效的概念。当两块(或两块以上)磁盘故障时,SmartData变为只读状态而不是失效。两块故障盘上的数据丢失,但是其它磁盘上的数据还可以读出来,这些数据空洞虽然造成录像分段丢失,但却保留绝大部分录像数据,播放器依然可以播放它们。
动态热备盘
传统的RAID在重构完成后,如果有新盘插入,会有一个回拷的动作。这个动作往往会持续几个小时,不仅给磁盘带来压力,在回拷的过程中,如果又坏了一块磁盘,将会导致RAID组失效。
SmartData使用动态的热备盘机制,当一个LUN将数据重构到热备盘上后,热备盘将变为成员磁盘。而新磁盘插入后,不用回拷,而是让新的磁盘变为热备盘。降低了回拷带来的风险和性能恶化。
目前具有SmartData技术的华为网络视频存储系统已经在全国多个城市的平安城市项目中被使用了,包括上海世博、合肥数字视频共享平台、内蒙古数字准格尔平安城市、贵州安顺平安城市等。SmartData技术为这些平安城市系统提供了业界最可靠的视频数据保护措施,保证了公安用户的业务正常运行,提高了公安办案效率及准确性。
未来随着平安城市项目在全国各市、县的继续开展,SmartData技术将在各地的平安城市系统中发挥越来越重要的作用,向公安用户提供业界安全系数最高、性能最高、可靠性最高的视频专用RAID技术,为各市、县平安城市视频监控数据保驾护航。
微信扫描二维码,关注公众号。