企业新闻 > 正文
百度AI安全技术专家解读构建智慧城市的基石——AIoT安全
2018/12/24 09:22   雷锋网      关键字:百度,AI安全,AIoT安全      浏览量:
在雷锋网12月20日举办的「AIoT+智慧城市峰会」上,百度AI安全技术总监聂科峰带来了《构建智慧城市的基石:AIoT安全》的演讲。

    AIoT即AI+IoT,指人工智能技术与物联网在实际应用中的落地融合。AI与IoT融合领域近年来一片火热,不论是资本市场,还是大众创业,无不对其表现出极大的热情。但是AIoT的生态安全现状却不容乐观。在雷锋网12月20日举办的「AIoT+智慧城市峰会」上,百度AI安全技术总监聂科峰带来了《构建智慧城市的基石:AIoT安全》的演讲。

以下为聂科峰演讲实录,雷锋网做了不改变原意的编辑整理。

聂科峰:谢谢雷锋网的邀请,在AIoT一片大好的情况下,让我们说一说对未来的担忧。刚才腾讯和华为的同学都讲到智慧城市在很多维度都开始有应用了,但是对于我们来说,未来大规模应用必须得以安全作为基石。

半年前我就讲过AIoT的安全,那时候讲AIoT,很多人还不太明白什么叫AIoT,其实就是AI+IoT。我花了很大板块来讲,而这半年这个词已经非常火。

但我这里要直观地分享我的理解。现在在整个智慧里用得最多的点,包括智慧交通、摄像头的应用、人脸识别的应用,都是基于摄像头的应用。最早我们使用摄像头,是用存储卡记录和监控,这属于非常传统的电子产品;而有一天基于带宽的发展,摄像头可以实时传到网上去了,这就变化成了物联网产品。

什么叫AI+IoT?可能是监控过程中我们加入了对监控内容的AI分析,并且能给出实时反馈,还能做一些事情,比如监测到一个坏人可能会报警,比如流量控制改变红绿灯设计,这在未来都是AIoT所带来的应用。

但是我们想想安全问题,如果是电子存储的SD卡,只是记录整个过程,我们所做的安全就是要防止把卡偷走。在物联网时代我们考虑网络安全,是要防止实时的数据,可能被别人监控到,或者一些隐私的数据被拿到。但是AI完全不一样,因为AIoT它会去分析,去判断,去做动作,去干扰整个事情的过程,这时候安全非常重要,它承担了采集离线分析,云端分析。我们需要做一些事情,去关注未来恶意执行这方面带来的风险。

从整个AIoT来看,我们认为生态安全是非常不乐观的。

像摄像头有很多安全问题,我们也监测到有很多安全案例发生在目前的这些设备当中。包括基于指纹,基于摄像头的都能被破解。可以看到在这个生态演变的过程中,有一个时代的变迁,从PC到移动再到AIoT,它的根基是生态的碎片化愈加严重。

PC时代只有微软一家独大,芯片也只有英特尔一家。移动设备上有iOS和安卓,基于芯片和系统的不同,所带来的安全风险会有几何数量的增加。到AIoT,这更是非常杂乱的过程,从芯片到系统等等,更是非常大的生态,碎片化带来的问题就是基于此的安全非常具有挑战性。

各个厂商和上游都在推自己的产品,可能外观看上去差不多,但是你问他的硬件版本,参数选型,完全不一样,即使一套同样的方案都可能在产品上产生不同的价值。

我们刚才看到有各种芯片厂商,目前没有一家是完全打通的,每一个都是可以排列组合的,所以导致我们在这方面面临的风险会更高。

从我们的角度来看,AIoT整个系统安全挑战有两块,一块是传统的基于IoT设备本身需要联网,需要系统,本身就存在潜在的系统和网络风险。更重要的是加入了AI之后,AI带来新的风险,我们可以看到传感器欺骗,这是AI与视觉相关的;软件缺陷有开源、第三方的、基于机器学习的,本身有很多漏洞,这些漏洞带来的缺陷也会影响AI在IoT应该发生的正确反应;还有基于大数据的污染;而系统风险和网络风险这就是非常传统的,移动和PC时代都会面临的问题。

所以AIoT安全是有新仇旧恨的。新仇就是IoT本身计算力比较弱,之前大家对这一块安全关注度不够,本身就有很多问题,重点可能是在网络,在系统上的问题。附加AI之后,基于数据采集、数据传输、数据分析、数据反馈,这个过程中又会带来很多新的问题,现在所谓的AI安全,大部分人是在强化AI攻击或者数据攻击和模型攻击的事情。

但是从结果来看,这一块是存在很多问题的,去年,我们的同学就已经可以突破当时的人脸识别,当时是国外的一款手机用了人脸识别解锁技术,我们构造了一个条件就可以突破掉。可以看到这个Stop非常经典的图,在很多讲人工智能AI的大会上都能看到,基于小的数据污染就能让AI形成非常错误的结论。

所以在这个挑战中我们相信,除了系统的碎片化和整个生态的复杂度之外,在传统安全,系统、网络、云端都很有可能快速把之前的经验复制过去。但是AI上的挑战是非常持续的,这方面也是整个行业,包括学术界不断的投入。

AI的不确定性,目前训练出来的模型都是黑盒子,未来数据能不能给出正确答案,可能只有70%,80%,90%,都是相对性的结论,这个结论是没有办法人为干预的,只有我们不断调整这个参数。这过程中我们做一些干扰的数据,做一些数据流攻击,甚至是模型层面做模型反逆向做模型渗透等等,这就导致我们的识别结果可能在模糊地带,有可能是一个小的像素的粘贴,就导致结果从A跳到了B。

有几大基于机器学习的攻击,一个是物理世界的攻击,现在很多做语音识别的,我可能是模拟一段语音或者发起一段语音,这可能是被识别成恶意指令,可以做一些动作。所以接受AI之后可以做响应,图片也是一样,我们可以用物理的图片加干扰,做这个模型可能会得到完全不一样的结果,白盒是做模型内部的细节,目前来看是属于比较高级的攻击方式。

百度在这方面做了一些实验,针对语音识别的机器学习对抗已经有一些成果,我们可以模拟出类似于一段海豚音,让机器识别出来,但是人是听不见的,安静的环境没有接收到任何指令。但是通过攻击性语音,让机器可以识别,机器做出相应的反馈和指令,可以达到攻击的过程。同时还有基于语音的唤醒机器,可以做到隐匿语音唤醒,唤醒之后所有的隐私就可能被暴露出来,这都是未来基于AI的攻击点。

要系统性的解决AI的安全问题,需要从三个方面来处理,还是要做好整个的安全评估,再有一定的方案做安全保障,最重要的是建立起非常及时的安全响应机制和通道。因为安全从来都不是一锤子买卖,是一个持续的攻防对抗过程,所以这个过程中,持续的响应是未来非常重要的一点。

在AIoT设备中涉及到云、管、端和数据相关,不同层面要提供不同的安全保障。

在安全评估上,我们在推行业安全基准,包括跟信通院,对一些具体场景,比如音箱、摄像头等。我希望未来上市的所有智能设备,基于AIoT的设备,上市之前都有一个基准的安全评估,能够在设备传输和AI几个点符合基础的标准,这样就大大降低未来可攻击性。

从我们跟信通院建立的标准来看,目前通过我们建立的安全评估点和安全设备,使整个安全状况有明显提升。在硬件和固件层面都提供了很多的威胁点,未来很多的设备都会有相应的标准来降低未来潜在的风险。

我们也提供了一些专业工具可以辅助大家做评估,比如说百度的Advbox,是专门针对AI的安全工具,第一是可以对你的安全模型做健壮性和基础性测试。另外可以提供对抗样本来训练你的模型,使你的模型加固。第三是我们可以让你去了解对抗样本,这是基于开源的平台,大家在AI上可以检测这些功能。在IoT上我们也提供了一些端上的检测工具,第一时间可以非常方便发现存在的风险和漏洞,在整个设备出厂之前就能感知到风险。

安全保障这一块我们也分了几大块,云端防护思路是非常重要的。特别是基于语音、摄像头,刚才说的AI会导致行为错乱,但是云端的措施没做好会导致隐私的泄露。从国家层面到大众对这方面都有强感知,所以基于这些设备我们要做基于网络安全的风险部署,协议通讯这一块希望所有的设备能够做基于SSL、TLS的加密,包括DNS方面,我们之前存在很多DNS被劫持的场景。劫持之后可能内容会转变为第三方甚至广告等等,我们希望能够有安全的DNS服务去做保障,这一整套通讯层面的安全,最重要的是保证我们的数据传输是安全的,隐私不会被泄露。

对设备端的保护,因为系统非常碎片化,我们要做大量的工作,基于不同的版本做不同的安全措施,但是系统这一块最重要的分几块去做:第一,安全状态本身要有感知能力,需要做一些监测,包括系统可能被利用了,这些自感知能力很重要;第二我们本身能够有一些恶意判断的应用,包括在安卓的场景,都会有利用恶意应用来攻击场景出现;另外漏洞这一块需要持续关注,对漏洞要及时响应,否则可能会被利用。同时跟第三方媒介的接触要做较强的校验和认证。

安全响应考虑到的是便捷性,所以响应一定要有一条设备和云端的通道。这条通道是设备的生命线,可以更新设备的特性和性能,优化我们的体验,同时可以做安全最重要、最快速的下发通道,包括OTA的安全,是我们的生命线。

在很多行业推出的响应手段,是针对漏洞可以做一些自适应的修复,这会极大的提升我们在AIoT这个行业里对漏洞的响应能力。因为一个漏洞可能跨十个版本,可能IoT里十个版本部署在几十个产品线上,如果有一个高危漏洞出现,可能我们要做几十次封装和下发。这是非常繁重和有成本的操作,因此现在很多厂商不太关注。但是如果有自适应的修复能力,我们在内核做自适应接入,未来所有的设备只需要一个小的Patch就能解决问题,极大的提升安全的联动和响应机制。

百度针对之前的问题也做了很多实践,从云、管、端都提供了方式和手段。云端我们DDos防护还有Web漏洞防护,都有广泛的应用。还有在AI学习这一块有对抗样本工具,通讯这一块提供了Mesalink,基于SSL的加密通讯的机制。DNS反劫持上,百度开放了搜索多年DNS劫持上的经验,端上这一块我们也有非常强的包括安全OTA、热修复机制等等,我们会提供云管端一体系的安全解决方案,目前在小度和车中都已经应用,以及外面很多AIoT厂商也不断与我们合作应用落地,如创维、康佳、暴风等。我们跟整体AIoT生态的合作伙伴一起打造安全生态,希望未来做到越智能越安全。谢谢大家。

微信扫描二维码,关注公众号。