随着互联网和信息技术的同步发展，各行各业都积累了大量数据。据全球领先的信息技术研究和咨询公司Gartner报告，驱动大数据发展的重要因素主要来自两个方面：一是消费领域，如网购及社交媒体应用产生的大量数据;另一方面来自城市基础设施建设，安防便是其中之一。同时，该报道称，到2018年，70%的Hadoop的部署将无法满足节约成本和增加收入的目的，这主要因为来自技能和整合方面的挑战。

技能和整合方面面临着什么样的挑战?目前所有厂商是否能使大数据轻松流畅地被使用?如果不能实现，其困难在哪里?

安防大数据储存面临七大制约

传统的安防监控进入网络智能时代之后，高清化、智能化、集成化的发展成了安防行业发展的趋势。如今进入了大数据的时代。大数据是飞速增长的，用现有数据库管理工具难以管理所有的数据集合。之于安防行业，大数据来了，因此，问题也来了。

    1.容量问题

视频监控数据具有高并发、大容量的特点。以1080P为例，在8Mbps的码率下，每只摄像头每天产生的视频数据约84GB，中等城市的监控规模一般为数千到数万个摄像头，而且这些数据一般要求必须在系统中保存30天以上。存储系统还必须具有高级别的容错性，存储介质的故障率通常较高，但故障发生时不应造成监控数据的丢失。此外，由于安防项目本身在不断发展，系统可能要进行在线扩容和升级，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。

大数据应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。

2.延迟问题

“大数据”应用还存在实时性的问题。有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。

3.并发访问

一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。

4.安全问题

某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，因此大数据应用也催生出一些新的、需要考虑的安全性问题。

5.成本问题

成本问题“大”，也可能意味着代价不菲。对成本控制影响最大的因素是那些商业化的硬件设备。因此，很多初次进入这一领域的用户以及那些应用规模最大的用户都会定制他们自己的“硬件平台”而不是用现成的商业产品，这一举措可以用来平衡他们在业务扩展过程中的成本控制战略。为了适应这一需求，现在越来越多的存储产品都提供纯软件的形式，可以直接安装在用户已有的、通用的或者现成的硬件设备上。此外，很多存储软件公司还在销售以软件产品为核心的软硬一体化装置，或者与硬件厂商结盟，推出合作型产品。

6.数据的积累

许多大数据应用都会涉及到法规遵从问题，这些法规通常要求数据要保存几年或者几十年。要实现长期的数据保存，就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。

7.数据的灵活性

大数据存储系统的基础设施规模通常都很大，因此必须经过仔细设计，才能保证存储系统的灵活性，使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中，已经没有必要再做数据迁移了，因为数据会同时保存在多个部署站点。一个大型的数据存储基础设施一旦开始投入使用，就很难再调整了，因此它必须能够适应各种不同的应用类型和数据场景。

储存介质正在改变SAN架构与云储存

存储之于安防的地位，不仅是一个设备而已，而是已经升华到了一个解决方案平台的地步。作为图像数据和报警事件记录的载体，存储的重要性是不言而喻的。

平台SAN架构主要面向中大型高清监控系统，前端路数成百上千甚至上万。一般多采用FCSAN或IPSAN搭建高清视频存储系统。作为监控平台的重要组成部分，前端监控数据通过录像存储管理模块存储到SAN中。此种架构接入高清前端路数相对节点NVR有了较高提升，具备快捷便利的可扩展性，技术成熟。值得指出的一点是，FCSAN采用分级集中存储的方案，视频数据按区域存储在不同的子平台中，通常使用RAID来进行存储。但RAID在性能、利用率、可靠性等方面很难达到理想的平衡，而且成本偏高。对于IPSAN而言，在ISCSI环节数据并发读写传输速率有所消耗，由于这种分级集中存储进入安防行业较早，仍然得到很多客户的青睐。

大数据最核心应用是为了智能分析，就如同存储是大数据最核心技术一般。监控系统中，存储和传输问题是首要面临的难关，大量无用视频信息被存储、传输，既浪费了存储空间又增加了带宽，智能分析的目的是为了视频存储所需要的空间减少从而缓解带宽压力，或者对于一些无用视频则采用低码流方式进行压缩或传输，更方便整套系统调查或查询使用，提升监控在大数据的应用价值。

在未来，安防监控随着高清化，网络化，智能化的不断发展，将对现有存储方案带来不断挑战，包括容量、带宽的扩展问题和管理问题。对于大数据的智能分析，云存储架构方式是最佳方案。不过这种应用目前只在平安城市项目有应用，技术的成熟度相对于SAN结构还需完善。

机遇与挑战并存

数据越发庞大，积累的商业信息越多，价值也就越大。以海量、多样、快速为显着特征的大数据，不像传统数据库的数据那么易于管理和分析，它在为整个IT及通信行业带来机遇的同时，也提出了更高的要求。

对于安防领域而言，数据量大，图像信息蕴含的信息量更多，而且还涉及到个人隐私，公共安全等问题，所以，在系统安全方面更不容忽视，但设备商的相关技术与国家的法律规范不可能是一蹴而就的。目前安防系统的数据量的确在不断膨胀，高清视频的出现，安防系统联网和整合的不断推进，存储技术和容量的提升，导致数据体量巨大，大数据的特征凸显，这样的安防系统注定将是一个大的数据集合体，但是，目前大量的视频数据仍然是独立的、零散的。视频录像数据散布在各个行业、单位独立的系统中，没有发挥达到真正的联网、共享，业界也没有形成对数据挖掘、利用的通用方法。

此外，在相关IT基础设施，视频图像信息的智能分析和检索，安防数据的组织管理、数据分析和挖掘算法的建模和实现，需要全面导入创新的技术。安防企业在做好安防系统和应用的同时，需要加强内功，提高研发能力，加强技术储备，应对更大数据量带来的冲击，提升对大数据的处理和利用能力，特别是目前最为迫切需要提升的视频智能应用、视频智能分析的准确度，这些都是安防行业在进入大数据时代前需要解决的问题。