来自 UTSA、中佛罗里达大学 （UCF)、空军研究实验室 (AFRL) 和 SRI International 的研究人员开发了一种新方法，可以改善人工智能学习观察的方式。

　　在 UTSA 计算机科学系教授 Sumit Jha 的带领下，该团队改变了解释机器学习决策所采用的传统方法，这种方法依赖于向神经网络的输入层单次注入噪声。

　　该团队表明，沿着网络的多层添加噪声（也称为像素化）可以提供更可靠的图像表示，该图像可被 AI 识别，并为 AI 决策创建更可靠的解释。这项工作有助于开发所谓的“可解释人工智能”，旨在实现人工智能的高可靠性应用，如医学成像和自动驾驶。

　　Jha 说：“这是关于向每一层注入噪音。网络现在被迫在其所有内部层中学习更稳健的输入表示。如果每一层在每次训练中都经历更多的扰动，那么图像表示将更加稳健，你不会看到 AI 只是失败因为你改变了输入图像的几个像素。”

　　计算机视觉——识别图像的能力——有许多商业应用。计算机视觉可以更好地识别癌症患者肝脏和大脑中的关注区域。这种类型的机器学习也可以用于许多其他行业。制造商可以用它来检测缺陷率，无人机可以用它来帮助检测管道泄漏，农业家已经开始用它来发现作物病害的早期迹象以提高产量。

　　通过深度学习，可以训练计算机执行行为，例如识别语音、识别图像或进行预测。深度学习不是组织数据以运行设置方程，而是在数据集的基本参数内工作，并训练计算机通过使用多层处理识别模式来自行学习。

　　由 Jha 领导的团队的工作是对他之前在该领域进行的工作的重大进步。在 2019 年与当年国际人工智能联合会议 (IJCAI) 共同举办的 AI 安全研讨会上发表的一篇论文中，Jha、他的学生和橡树岭国家实验室的同事展示了自然界中恶劣的条件如何导致危险的神经网络表现。计算机视觉系统被要求识别道路上的小型货车，并且正确识别。然后，他的团队添加了少量雾气，并再次向网络提出了相同的查询：AI将小型货车识别为喷泉。结果，他们的论文是最佳论文候选人。

　　在大多数依赖于神经常微分方程 （ODE) 的模型中，机器使用一个输入通过一个网络进行训练，然后通过隐藏层传播以在输出层创建一个响应。这个由 UTSA、UCF、AFRL 和 SRI 研究人员组成的团队使用一种称为随机微分方程 （SDE) 的动态方法。利用动态系统之间的联系来表明，与使用神经 ODE 计算的那些相比，神经 SDE 导致更少的噪声、更清晰的视觉和定量稳健的归因。

　　由于在神经网络的多层中注入了噪声，SDE 方法不仅从一个图像中学习，而且从一组附近的图像中学习。随着更多的噪声被注入，机器将学习不断发展的方法并找到更好的方法来进行解释或归因，因为在开始时创建的模型是基于不断发展的特征和/或图像条件。它是对其他几种归因方法的改进，包括显着图和集成梯度。

　　Jha 的新研究论文在“On Smoother Attributions using Neural Stochastic Differential equations”中有所描述。这种新颖方法的其他贡献者包括 UCF 的 Richard Ewetz、AFRL 的 Alvaro Velazquez 和 SRI 的 Sumit Jha。该实验室由国防高级研究计划局、海军研究办公室和国家科学基金会资助。他们的研究将在 2021 IJCAI 上发表，该会议的提交接受率约为 14%。这个高度选择性会议的过去演讲者包括 Facebook 和谷歌。

　　Jha 说：“我很高兴分享我们关于可解释 AI 的论文刚刚被 IJCAI 接受的好消息。对于 UTSA 来说，这是一个很大的机会，可以参与关于机器如何看待的全球对话。”