近日，360数字安全集团发布全球首份《大模型安全漏洞报告》（以下简称“报告”），从模型层安全、框架层安全以及应用层安全三大维度探查安全问题，并借助360安全大模型自动化的代码分析能力，对多个开源项目进行代码梳理和风险评估，最终审计并发现了近40个大模型相关安全漏洞，影响范围覆盖llama.cpp、Dify等知名模型服务框架，以及Intel等国际厂商开发的多款开源产品，全面呈现了全球大模型发展所面对的安全威胁态势，为构建更加安全、健康的AI数字环境贡献力量。

　　大模型的生成及应用过程通常包含了数据准备、数据清洗、模型训练、模型部署等关键步骤，攻击者可对该流程中相关环节施加影响，使模型无法正常完成推理预测；或者绕过模型安全限制或过滤器，操控模型执行未经授权的行为或生成不当内容，并最终导致服务不可用，甚至对开发者或其他正常用户产生直接安全损害。

　　报告指出，大模型的开放性和可扩展性使其在训练和推理过程中面临着数据投毒、后门植入、对抗攻击、数据泄露等诸多安全威胁。近年来，各大知名厂商的大语言模型因隐私泄露和输出涉及种族、政治立场、公共安全等不合规信息而引起社会广泛关注的案例屡见不鲜，为了加强模型本身的安全性，越来越多的研究人员开始从模型的可检测性、可验证性、可解释性进行积极探索。

　　随着大模型项目需求的不断增长，各类开源框架层出不穷。这些框架极大提升了开发效率，降低了构建AI应用的门槛，同时也打开了新的攻击面。

　　报告指出，这些框架在各个层级都可能因接触不可信的输入而产生潜在的安全风险。比如利用非内存安全语言引发内存安全问题，或者通过影响正常业务流程向框架传递恶意数据进行攻击，以及利用物理或虚拟主机集群所暴露的服务接口进行恶意控制等。

　　模型框架通常承载着极其丰厚的计算与存储资源，但又由于其模糊的安全边界，通常难以做到完全运行于隔离的环境之中，因此一旦受到攻击，就可能对整个系统带来不可估量的损失。

　　AI应用是人工智能技术通过自动化决策和智能分析来解决实际问题的进一步落地，通常集成了前端采集用户输入，后端调用模型分析处理，最终执行用户请求并返回结果的业务流程。

　　报告发现，除了模型本身，AI应用是多项计算机技术的有机结合，通常还包含了许多其它工程代码实践来落地整套业务逻辑。这些代码涉及输入验证、模型驱动、后向处理等多个方面，而不同分工模块间的业务交互可能会引入额外的安全问题，既包含了传统的Web问题，又涵盖了大模型能力导致的新问题。

　　在以往的攻击中，攻击者常通过组合利用业务系统中具有不同“能力原语”的漏洞，进而实现对目标系统的完整控制。

　　而在AI场景下，为了能使大模型能处理各项业务需求，通常会赋予其包括代码执行在内的多项能力，这在带来便捷的同时，也提供了更多攻击系统的可能性。攻击者可以尝试控制并组合AI的“能力原语”，在某些应用场景下达到更为严重的攻击效果。