大数据平台整体安全建设，从数据采集到数据资产的梳理，再到平台的访问安全管控和数据存储安全，以及数据共享分发过程中的版权保护，整个安全方案如何形成数据访问和使用过程的闭环，并且能够实现安全策略的统一下发和协同配合，都是至关重要的。平台架构自下而上可以分为：数据分析层、敏感数据隔离交互层、数据防泄露层、数据脱敏层、和数据加固层。

　　数据分析层是数据安全管理体系的基石，通过收集和归并各类业务系统产生的海量信息数据，运用关联分析技术、逻辑推理技术、风险管理技术等，对海量数据事件进行统一的加工分析，实现对数据风险的统一监控和未知风险的预警处理。

　　敏感数据隔离层是通过数据指纹特征采集、内容检测和响应处理三个步骤，突破深度内容识别，解决既可以连通网络又可以保障数据销户安全性的一种手段。

　　数据防泄漏针对数据流动、复制等需求，通过深度内容分析和事务安全关联分析来做识别、监视和保护静止的数据、移动的数据以及使用中的数据，达到敏感数据利用的事前、事中、事后完整保护，实现数据的合规使用，同时防止主动或被动意外的数据泄露。

　　数据脱敏层通过独特的数据抽取方法使用户能够快速创建小容量子集，对敏感信息进行脱敏、变形，由此提高数据管理人员的工作效率，同时规避数据泄露风险，对客户信息资产安全、敏感信息保护提供完善的保护。

　　数据库监控及加固层核心是让数据保护变的更加牢固，具有数据库状态监控、数据库审计、数据库风险扫描、访问控制等多种引擎，可提供黑白名单和例外政策、用户登录控制、用户访问权限控制，并实时监控数据库访问行为和灵活的告警机制。

　　在大数据平台建设初期，安全也许并不是被重点关注的一环。大数据平台的定位主要是服务数据开发人员，提高数据开发效率，提供便捷的开发流程，有效支持数仓建设。大数据平台的用户都是公司内部人员。数据本身的安全性已经由公司层面的网络及物理机房的隔离来得到保证。那么数据平台建设过程中，需要考虑哪些安全性方面的问题？环境隔离，数据开发人员应当只需关注自己相关业务域的数据，也应该只能访问这一部分数据。从数据的角度，减小了被接触面，降低了被误操作的可能。从数据开发人员的角度，只能访问自己业务域的数据，在数据开发的过程中，可以减少干扰项，提高效率。

　　从应用角度看，大数据平台一般具有以下4项安全功能：

　　大数据平台安全功能

　　一、边界--限制只有合法用户身份的用户访问大数据平台集群

　　（1）用户身份认证：关注于控制外部用户或者第三方服务对集群的访问过程中的身份鉴别，这是实施大数据平台安全架构的基础；用户在访问启用了安全认证的集群时，必须能通过服务所需要的安全认证方式。

　　（2）网络隔离：大数据平台集群支持通过网络平面隔离的方式保证网络安全。

　　（3）传输安全：关注数据在传输过程中的安全性，包括采用安全接口设计及高安全的数据传输协议，保证在通过接口访问、处理、传输数据时的安全性，避免数据被非法访问、窃听或旁路嗅探。

　　二、访问--定义什么样的用户和应用可以访问数据

　　（1）权限控制：包括鉴权、授信管理，即确保用户对平台、接口、操作、资源、数据等都具有相应的访问权限，避免越权访问；分级管理，即根据敏感度对数据进行分级，对不同级别的数据提供差异化的流程、权限、审批要求等管理措施，数据安全等级越高，管理越严格。

　　（2）审计管理：基于底层提供的审计数据，在权限管理、数据使用、操作行为等多个维度上对大数据平台的运转提供安全审计能力，确保及时发现大数据平台中的隐患点，视不同严重程度采取包括排除隐患、挽回数据、人员追责在内的多种补救措施，同时指导大数据平台不再重复类似的问题。

　　三、透明--报告数据从哪里来、如何被使用和销毁

　　（1）数据生命周期管理：理解大数据平台中数据的来源，以及知道数据怎么被使用的，何人在何地对其进行销毁，对监测大数据系统中是否存在非法数据访问非常关键，这需要通过安全审计来实现。安全审计的目的是捕获系统内的完整活动记录，且不可被更改。例如：华为的FusionInsight审计日志中记录了用户操作信息，可以快速定位系统是否遭受恶意的操作和攻击，并避免审计日志中记录用户敏感信息：确保每一项用户的破坏性业务操作被记录审计，保证用户业务操作可回溯；为系统提供审计日志的查询、导出功能，可为用户提供安全事件的事后追溯、定位问题原因及划分事故责任的重要手段。总之，大数据平台要能对数据进行全方位安全管控，做到"事前可管、事中可控、事后可查"。

　　（2）日志审计：日志审计作为数据管理，数据溯源以及攻击检测的重要措施不可或缺。然而Hadoop等开源系统只提供基本的日志和审计记录，存储在各个集群节点上。大数据平台应具备日志管理和分析能力。然而目前如果要对日志和审计记录做集中管理和分析，仍然需要依靠第三方工具（如ELK等）。

　　四、数据--数据加密和脱敏；多租户隔离；数据侵权保护；容灾管理

　　（1）数据加密：提供数据在传输过程及静态存储的加密保护，在敏感数据被越权访问时仍然能够得到有效保护。在数据加解密方面，能通过高效的加解密方案，实现高性能、低延迟的端到端和存储层加解密（非敏感数据可不加密，不影响性能）。同时，加密的有效使用需要安全灵活的密钥管理，这方面开源方案还比较薄弱，需要借助商业化的密钥管理产品。此外，加解密对上层业务透明，上层业务只需指定敏感数据，加解密过程业务完全不感知。

　　（2）用户隐私数据脱敏：提供数据脱敏和个人信息去标识化功能，提供满足国际密码算法的用户数据加密服务。

　　（3）多租户隔离：实施多租户访问隔离措施，实施数据安全等级划分，支持基于标签的强制访问控制，提供基于ACL的数据访问授权模型，提供全局数据视图和私有数据视图，提供数据视图的访问控制。

　　（4）数据容灾：为集群内部数据提供实时的异地数据容灾功能，例如Google的spanner作为NewSQL数据库对外提供跨数据中心的容灾机制。

　　（5）数据侵权保护：当存储数据为一种特殊的数字内容产品时，其权益保护难度远大于传统的大数据，一旦发生侵权问题，举证和追责过程都十分困难。大数据平台底层能利用区块链类似技术实现数据的溯源确权。