人工智能作为新一轮科技革命和产业变革的核心技术，正成为驱动新质生产力的重要引擎。
2024年政府工作报告中提到，深入推进数字经济创新发展，深化大数据、人工智能等研发应用，并首次提到开展 “人工智能＋”行动。与此同时，政府工作报告也提出，要进一步提高网络、数据等重点领域的安全保障能力。
我国一直高度重视人工智能的安全治理。就在两会前，《生成式人工智能服务安全基本要求》发布，从技术层面为人工智能安全发展设置边界。
《中国经营报》记者在2024年全国两会期间采访了解到，多位代表委员针对人工智能安全发展带来了建议，不少市场机构也开始在AI+安全上加码投入。面对人工智能带来的技术冲击波，除了依赖法律机制建设筑牢安全篱笆，市场也积极寻求通过“以技治技”，推动人工智能在发展中不断规范。
警惕技术双刃剑
随着ChatGPT、Sora等大模型的开放和应用，AI生成技术使用的门槛持续降低，也进一步增加了各界对人工智能安全与合规的担忧。网络安全公司Darktrace报告显示，ChatGPT 这样的生成式 AI 导致网络钓鱼邮件攻击增长135%。
此外，“深度伪造”技术利用机器的深度学习，实现了图像、声音、视频的篡改、伪造，可产生高度逼真且难以辨识的内容，对公众认知和判断造成严重干扰。
记者从一家权威机构处获悉，过去两年其开展了人脸识别安全评测情况统计。数据显示，多家机构产品首次送检突破概率高达71%，二次突破概率也有25%。
“历史经验表明，越是先进的东西，出现安全事故带来的损失和影响就越大。数字工厂出现网络安全事故，损失远远大于传统工厂。”全国政协委员、奇安信（688561.SH）董事长齐向东接受记者采访时表示。
在他看来，人工智能带来了三大挑战：一是AI投毒安全隐患加重，攻击者可以通过在训练数据中加入精心构造的异常数据，破坏训练数据集的准确性；二是数据篡改隐患加重，AI的大规模内容生产能力可能产生真假难辨的信息，控制社交软件乃至媒体的舆论声音，激化意识形态矛盾；三是数据泄露隐患加重，在向人工智能投喂数据的过程中，也会产生商业机密泄露问题，进而导致企业丧失核心竞争力。
上述挑战也引发学界关注。中国社会科学院大学数字中国研究院近期发布的《数字时代安全科技价值报告》（以下简称《价值报告》）将AI安全风险分为三类：第一类是人工智能系统内部所产生的“内生安全问题”，如“数据有毒”“价值对齐”“决策黑盒”等问题；第二类是“衍生安全问题”，比如生成假新闻、深度合成伪造进行诈骗或钓鱼攻击，涉及隐私保护、国家安全、伦理道德等与社会治理有关的挑战性问题；第三类是“外生安全问题”，即面向人工智能系统的外部网络攻击对抗。
中国社会科学院大学数字中国研究院执行院长吕鹏认为：有新技术的地方，就有新的安全风险，两者是不可分割的伴生关系。人工智能作为最具颠覆性和战略性的核心关键技术，能够帮助各行各业在数字化的基础上进一步实现智能化，成为未来的发动机。而安全科技将作为方向盘，始终将各种新兴科技控制在向善的道路上。
事实上，上述安全科技的提法与2024年政府工作报告中“人工智能+”与“提高网络、数据等安全保障能力”的表述不谋而合。
《价值报告》认为：安全已成为AI产业发展的核心要素，安全科技具有“压舱石”与“助燃剂”的两重价值：“压舱石”指的是守住技术的安全底线，防御外部风险隐患，让技术“难作恶”，支撑数字社会稳步运行。“助燃剂”体现在提高技术的安全上限，降低技术运行的成本，让产业焕发新机，让更多人受益。
但需要看到，当前市场对于人工智能的安全治理以及“以技治技”能力还需持续探索。
中国信息通信研究院自2019年起持续跟踪人工智能+安全的技术和产业发展，目前已经完成了不良信息检测、深度合成检测、生物特征识别安全等方面的标准规范十余份。
信通院人工智能研究中心安全与元宇宙部业务主管陈文弢向记者透露：当前国内企业对于如何将较为抽象的法律法规、伦理原则，落实到技术、产品和应用中较为困难，尤其是在模型算法的全生命周期中能够切实防范各类安全风险尚存不足。此外，产业界较为倾向于采取防御措施，注重预防漏洞和抵御攻击，尚缺乏主动研发安全技术，探索“以技治技”的技术手段。
在齐向东看来，解决AI带来的安全问题，既要发挥人的引领作用，也要充分利用极其强大的智能分析和自动研判能力。他也建议：应该大力推进“AI＋安全”的科技创新能力，把AI安全技术融入数字化场景当中，鼓励头部企业与专业安全厂商在关键行业选取典型场景开展联合创新。鼓励企业和高校把最新的AI科研成果和网络安全攻防技术相融合。
记者注意到，全国人大代表、科大讯飞（002230.SZ）董事长刘庆峰在2024年全国两会期间也提出：要瞄准中国通用人工智能发展中需要重点补上的短板进行设计，系统性制定国家层面的《通用人工智能发展规划》。
针对安全问题，他建议：围绕大模型的数据安全、隐私泄露、可靠性、知识产权等几大关键方面制定法律法规，同时，完善向社会开放的大模型的准入和运行规则，明确责任分配与问责机制。
对于从事人工智能研发和应用的市场机构，风险保障需要渗透到业务的每个环节。蚂蚁集团安全实验室首席科学家王维强在接受记者采访时表示：保障AI技术的安全性与可靠性主要有三个关键环节：一是从训练数据源头消毒，这些数据关乎AI技术应用后是否公正、有效。二是做模型的可控质检及护栏加固，防止模型推理过程黑盒的不可控问题；三是在具体应用场景中，面对外部诱导的对抗攻击，做一些对抗攻击的测试和防范。
用AI解决AI带来的安全问题
市场共识在于，随着全球对人工智能安全治理的重视度提升，也会推动安全领域更多技术发展和商业化服务的繁荣。
陈文弢告诉记者，近年来，人工智能已经应用在了众多的安全场景中，其中最典型的是不良信息检测、生物特征识别、网络安全等。
“比如不良信息检测是使用内容识别模型提取文本、图片、音视频中的特征，实现违法和不良信息的自动识别，已经广泛应用在了互联网平台中；生物特征识别主要应用在金融、安防等行业中，通过比对人脸、指纹、声纹等实现身份的认证。”他补充说。
记者注意到，随着大语言模型的快速发展，一些市场机构近年来已经开始将大模型与网络安全相结合，提升网络威胁、系统漏洞等方面防护的效率，降低人工成本。
蚂蚁集团从2015年起投入可信AI技术的研究，2016年全面启动人工智能风控防御战略。在去年9月其对外推出了业界首个大模型安全一体化解决方案“蚁天鉴”——包含大模型安全检测平台“蚁鉴”和大模型风险防御平台“天鉴”，目前已实现产业级应用。
据王维强介绍，“蚁鉴”采用智能对抗技术自动生成百万级测试集，提供大模型安全测评、AI鲁棒性及可解释性测评、AIGC（生成式人工智能）检测等一站式测评；“天鉴”基于智能风控技术，提供一体化实时的大模型安全防御，可精确召回20多类提问风险意图，风险召回率大于99%。
在信贷类安全级别较高的场景，这种用AI解决AI安全问题的方式也已付诸实践。
“过去一年，我们通过采用神经网络模型架构进行模型算子改造，结合自动建模工具促进模型深度理解潜在攻击模式，将模型训练时间缩短至原来的1/10，增强对新颖欺诈模式的识别能力。”萨摩耶云科技集团创始人林建明向记者表示。
据其透露，通过将深化预训练、对抗学习、可解释性技术与大模型API（应用程序编程接口）能力融合，公司模型基础能力增加了66%，提升攻击防堵效率50%以上，避免欺诈损失近10亿元。
据悉，奇富科技（03660.HK）于2023年实现了数据可信平台，该平台集成了数字水印、隐私数据识别、动态脱敏、分级审核等多种安全策略。奇富科技大模型应用负责人表示：提升AI模型的稳定性和准确性是关键，需要通过不断优化算法和引入更多真实场景数据来降低机器幻觉的出现频率。此外，建立严格的合规管理体系至关重要，包括制定详细的合规政策、实施严格的合规审核以及定期进行合规培训等，以确保AI应用符合相关法律法规的要求。
在陈文弢看来，各个行业的多个场景都对安全技术有着极大的需求。同时，不断发展的人工智能技术正在赋能安全技术和水平的快速提升，整体看，全球的人工智能+安全具有非常广阔的市场和良好的发展前景。
