下一代人工智能将是什么样子？哪种新颖的AI方法将释放当前在技术和业务方面难以想象的可能性？本文重点介绍了AI中的三个新兴领域，这些领域将在未来的几年中重新定义人工智能领域和社会。
尽管人工智能的诞生已经超过半个世纪，但近十年来人工智能领域发展非常迅速。自2012年ImageNet竞赛开始深度学习的现代时代以来，只有8年的时间。自那时以来，人工智能领域的进步令人震惊，现在人工智能已经深入我们日常工作生活的方方面面。
有专家表示，这个惊人的步伐只会越来越快。从现在开始的五年后，人工智能领域将与今天大不相同。当前被认为是最先进的方法将已经过时；今天刚刚出现或处于边缘的方法将成为主流。
下一代人工智能将是什么样子？哪种新颖的AI方法将释放当前在技术和业务方面难以想象的可能性？本文重点介绍了AI中的三个新兴领域，这些领域将在未来的几年中重新定义人工智能领域和社会。
1、无监督学习
当今AI世界中最主要的范例是有监督的学习。在监督学习中，AI模型从数据集中学习人类根据预定义类别进行策划和标记的过程。（术语“监督学习”源于人类“监督者”预先准备数据的事实。）
在过去的十年中，尽管从无人驾驶汽车到语音助手，有监督的学习已经推动了AI的显着进步，但它仍然存在严重的局限性。
手动标记成千上万个数据点的过程可能非常昂贵且繁琐。在机器学习模型提取数据之前，人们必须手动标记数据这一事实已成为AI的主要瓶颈。
在更深层次上，有监督的学习代表了一种狭窄的、受限制的学习形式。受监督的算法不仅无法探索和吸收给定数据集中的所有潜在信息、关系和含义，而且仅针对研究人员提前确定的概念和类别。
相反，无监督学习是一种AI方法，其中算法无需人工提供标签或指导即可从数据中学习。
许多AI领导者将无监督学习视为人工智能的下一个前沿领域。用AI传奇人物Yann LeCun的话说：“下一场AI革命将不会受到监督。”加州大学伯克利分校的教授Jitenda Malik更加生动地说：“标签是机器学习研究人员的鸦片。”
无监督学习如何工作？简而言之，系统会根据世界的其他部分来了解世界的某些部分。通过观察实体的行为，实体之间的模式以及实体之间的关系（例如，上下文中的单词或视频中的人物），系统引导了对其环境的整体理解。一些研究人员用“从其他事物中预测所有事物”来概括这一点。
无监督学习更紧密地反映了人类学习世界的方式：通过开放式探索和推理，不需要监督学习的“训练轮”。它的基本优点之一是，世界上总是会有比已标记数据多得多的未标记数据（前者更容易获得）。
用LeCun的话来说，他喜欢密切相关的术语“自我监督学习”：“在自我监督学习中，输入的一部分用作
监视信号，以预测输入的其余部分。可以通过自我监督学习而不是[其他AI范式]来学习有关世界结构的知识，因为数据是无限的，每个示例提供的反馈量很大。”
无监督学习已经在自然语言处理中产生了变革性的影响。 NLP得益于一种新的无监督的学习架构，即Transformer，最近取得了令人难以置信的进步，该架构始于Google大约三年前。 （有关Transformer的更多信息，请参见下面的＃3。）
将无监督学习应用于AI的其他领域的努力仍处于早期阶段，但是正在取得快速进展。举个例子，一家名为Helm.ai的初创公司正在寻求利用无监督学习来超越自动驾驶汽车行业的领导者。
许多研究人员将无监督学习视为开发人类级AI的关键。 LeCun认为，掌握无监督学习是“未来几年ML和AI面临的最大挑战。”
2、联合学习
数字时代的主要挑战之一是数据隐私。由于数据是现代人工智能的命脉，因此数据隐私问题在AI的发展轨迹中扮演着重要的角色（并且常常是限制性的）。
保持隐私的人工智能（使AI模型能够从数据集中学习而不损害其隐私的方法）正变得日益重要。保持隐私的AI的最有前途的方法也许是联合学习。
联合学习的概念最早由Google的研究人员于2017年初提出。在过去的一年中，对联合学习的兴趣激增：到2020年的前六个月，发表了超过1,000篇有关联合学习的研究论文，而在2018年只有180篇。
如今，构建机器学习模型的标准方法是将所有训练数据收集到一个地方（通常在云中），然后在数据上训练模型。但是，这种方法对全球大部分数据都不可行，出于隐私和安全原因，这些数据无法移至中央数据存储库。这使其成为传统AI技术的禁区。
联合学习通过颠覆传统的AI方法解决了这个问题。
联合学习并不需要一个统一的数据集来训练模型，而是将数据保留在原处，并分布在边缘的众多设备和
服务器上。取而代之的是，将模型的许多版本发送到一个带有训练数据的设备，每个模型都在每个数据子集上进行本地训练。然后将生成的模型参数（而不是训练数据本身）发送回云。当所有这些“微型模型”汇总在一起时，结果就是一个整体模型，其功能就像是一次在整个数据集上进行训练一样。
最初的联合学习用例是针对分布在数十亿移动设备上的个人数据训练AI模型。正如这些研究人员总结的那样：“现代移动设备可以访问大量适用于机器学习模型的数据...。但是，这些丰富的数据通常对隐私敏感，数量庞大或两者兼而有之，因此可能无法登录到数据中心....我们提倡一种替代方案，将训练数据保留在移动设备上，并通过汇总本地计算的更新来学习共享模型。”
最近，医疗保健已成为联合学习应用中特别有前途的领域。
不难理解原因。一方面，医疗保健中有大量有价值的AI用例。另一方面，医疗保健数据，尤其是患者的个人身份信息，非常敏感；像HIPAA这样的法规丛书限制了它的使用和移动。联合学习可以使研究人员能够开发挽救生命的医疗保健AI工具，而无需从源头转移敏感的健康记录或使它们暴露于隐私泄露中。
涌现了许多初创公司，以追求医疗保健领域的联合学习。最有名的是总部位于巴黎的Owkin；早期阶段的参与者包括Lynx.MD、Ferrum Health和Secure AI Labs。
除医疗保健外，联合学习有一天可能会在任何涉及敏感数据的AI应用的开发中发挥中心作用：从金融服务到自动驾驶汽车，从政府用例到各种消费产品。与差分隐私和同态加密之类的其他隐私保护技术结合使用，联合学习可以提供释放AI巨大潜力的关键，同时减轻对数据隐私的棘手挑战。
如今，全球范围内颁布的数据隐私立法浪潮（从GDPR和CCPA开始，即将推出许多类似的法律）只会加速对这些隐私保护技术的需求。期望联合学习在未来几年中将成为AI技术堆栈的重要组成部分。
3、Transformer
我们已经进入了自然语言处理的黄金时代。
OpenAI发布的GPT-3是有史以来功能最强大的语言模型，今年夏天吸引了整个技术界。它为NLP设定了新的标准：它可以编写令人印象深刻的诗歌，生成有效的代码，撰写周到的业务备忘录，撰写有关自身的文章等等。
GPT-3只是一系列类似架构的NLP模型（Google的BERT、OpenAI的GPT-2、Facebook的RoBERTa等）中最新的（也是最大的），它们正在重新定义NLP的功能。
推动语言AI革命的关键技术突破是Transformer。
在2017年具有里程碑意义的研究论文中介绍了Transformer。以前，最新的NLP方法都基于循环神经网络（例如LSTM）。根据定义，递归神经网络按顺序显示数据，即按单词出现的顺序一次处理一个单词。
Transformer的一项伟大创新是使语言处理并行化：给定文本主体中的所有标记都是同时而不是按顺序分析的。为了支持这种并行化，Transformer严重依赖于称为注意力的AI机制。注意使模型能够考虑单词之间的关系，而不论它们之间有多远，并确定段落中的哪些单词和短语对于“注意”最为重要。
为什么并行化如此有价值？因为它使Transformers的计算效率大大高于RNN，这意味着可以在更大的数据集上对它们进行训练。 GPT-3训练了大约5000亿个单词，由1750亿个参数组成，这使现有的RNN显得相形见绌。
迄今为止，由于GPT-3等的成功应用，Transformer几乎只与NLP相关联。但是就在本月，发布了一篇突破性的新论文，该论文成功地将Transformer应用于计算机视觉。许多AI研究人员认为，这项工作可以预示计算机视觉的新时代。 （正如著名的ML研究人员Oriol Vinyals所说的那样，“我的观点是：告别卷积。”）
尽管像Google和Facebook这样的领先AI公司已经开始将基于Transformer的模型投入生产，但大多数组织仍处于将该技术产品化和商业化的初期阶段。 OpenAI已宣布计划通过API将GPT-3进行商业访问，这可能会为在其上构建应用的整个初创企业生态系统注入种子。
从自然语言开始，期望Transformers在未来的几年中将成为整个新一代AI功能的基础。过去十年在人工智能领域令人兴奋，但事实证明，这仅仅是未来十年的序幕。
4、神经网络压缩
人工智能正在走向边缘。
能够直接在边缘设备（例如电话、智能扬声器、摄像头、车辆）上运行AI算法具有巨大优势，而无需从云端来回发送数据。
也许最重要的是，边缘AI增强了数据隐私性，因为不需要将数据从其源头移动到远程服务器。由于所有处理均在本地进行，因此Edge AI的延迟也较低。对于诸如自动驾驶汽车或语音助手之类的时间敏感型应用程，这至关重要。它具有更高的能源效率和成本效益，成为机器学习扩大的计算和经济成本日益重要的考虑因素。而且，它使AI算法无需互联网连接即可自主运行。
Nvidia首席执行官黄仁勋（Jensen Huang）是AI商业世界的巨头之一，他认为边缘AI是计算的未来：“ AI正在从云移动到边缘，连接到AI计算机的智能传感器可以加快许多应用的速度，并节省能源。随着时间的流逝，将有数以万亿计的这种由人工智能驱动的小型自主计算机。”
但是，要使边缘智能无处不在的崇高愿景成为现实，就需要一项关键的技术突破：人工智能模型需要变得更小，而且比目前的小得多。因此，在不损害神经网络性能的情况下开发和商业化压缩神经网络的技术已成为AI领域最重要的追求之一。
如今，典型的深度学习模型非常庞大，需要大量的计算和存储资源才能运行。 OpenAI的新语言模型GPT-3于今年夏天成为头条新闻，其模型参数高达1750亿个，仅存储模型就需要超过350 GB的空间。即使是大小不接近GPT-3的模型也仍然需要大量计算：ResNet-50是几年前开发的一种广泛使用的计算机视觉模型，每秒使用38亿个浮点运算来处理图像。
这些模型不能在边缘运行。边缘设备中的硬件处理器（例如手机、Fitbit或Roomba中的芯片）功能不足以支持它们。
因此，开发使深度学习模型更轻量级的方法成了关键：它将释放围绕分散式人工智能构建的一系列产品和商业机会。
这样的模型压缩将如何工作？
近年来，研究人员和企业家在该领域取得了长足进步，开发了一系列使神经网络小型化的技术。这些技术可以分为五个主要类别：精简、量化、低秩分解、紧凑型卷积滤波器和知识蒸馏。
精简需要识别并消除神经网络中的冗余或不重要连接，以使其精简。量化通过使用较少的比特表示值来压缩模型。在低秩分解中，模型的张量将被分解，以构造近似于原始张量的稀疏版本。紧凑型卷积滤波器是经过特殊设计的滤波器，可减少执行卷积所需的参数数量。最后，知识蒸馏涉及使用模型的完整版本来“教”一个较小的模型以模仿其输出。
这些技术大多彼此独立，这意味着它们可以串联部署以提高结果。实际上，其中一些（精简、量化）可以应用于已经存在的模型，而其他一些（紧凑的过滤器、知识蒸馏）则需要从头开始开发模型。
少数新兴公司已经出现，将神经网络压缩技术从研究领域推向市场。更有前途的有Pilot AI、Latent AI、 Edge Impulse 和Deeplite。举一个例子，Deeplite声称其技术可以使神经网络缩小100倍，加快10倍，将电源效率提高20倍，而不会牺牲性能。
“在过去的十年中，世界上具有一定计算能力的设备数量激增，” Pilot AI首席执行官Jon Su解释说。 “Pilot AI的核心IP极大地减少了用于对象检测和跟踪等任务的AI模型的大小，从而使AI / ML工作负载可以直接在边缘IoT设备上运行。这将使设备制造商能够将每年售出的数十亿个传感器（如按钮门铃、恒温器或车库门开启器）转换为可为下一代IoT应用提供支持的丰富工具。”
大型技术公司正在积极收购这一类别的初创公司，突显了该技术的长期战略重要性。今年早些时候，苹果以2亿美元的价格收购了总部位于西雅图的Xnor.ai。Xnor的技术将帮助苹果在其iPhone和其他设备上部署边缘AI功能。特斯拉在2019年收购了该领域的早期先驱者之一DeepScale，以支持对其车辆的推断。
多年来，最重要的技术交易之一-英伟达上个月宣布的以400亿美元收购Arm的交易-很大程度上是由于AI走向边缘而加速向高效计算的转变。
英伟达首席执行官黄仁勋在谈到这一交易时强调了这一点：“能源效率是未来计算领域中最重要的一件事……英伟达和Arm将共同打造这个人工智能时代世界一流的计算公司。”
在未来的几年中，人工智能将变得不受束缚、分散化和环境化，并在边缘的数万亿种设备上运行。模型压缩是一项必不可少的促成技术，它将帮助实现这一愿景。
5、生成人工智能
当今的机器学习模型主要对现有数据进行交织和分类：例如，识别人脸或识别欺诈。生成式AI是一个快速发展的新领域，它专注于构建可生成自己新颖内容的AI。简而言之，生成型人工智能将人工智能超越了感知到创造。
生成AI的核心是两项关键技术：生成对抗网络（GAN）和变分自
编码器（VAE）。
两种方法吸引人的是，GAN是Ian Goodfellow在AI先驱Yoshua Bengio在蒙特利尔大学攻读博士学位时于2014年发明的。
Goodfellow在概念上的突破是使用两个独立的神经网络构造GAN，然后将它们相互对抗。
从给定的数据集（例如，一张人脸照片的集合）开始，第一个神经网络（称为“生成器”）开始生成新图像，这些图像在像素方面在数学上类似于现有图像。同时，第二个神经网络（“鉴别器”）被喂入照片而没有被告知它们是来自原始数据集还是来自发生器的输出。它的任务是识别合成的照片。
当这两个网络不断地互相作用时（生成器试图欺骗鉴别器，鉴别器试图暂缓生成器的创造物），它们彼此磨炼了能力。最终，判别器的分类成功率下降到50％，没有比随机猜测更好，这意味着合成生成的照片已经与原始照片变得难以区分。
2016年，AI大神Yann LeCun称GAN为“过去十年中机器学习中最有趣的想法”。
与GAN差不多同时推出的VAE是一种概念上相似的技术，可以用作GAN的替代方法。
与GAN一样，VAE由两个神经网络组成，这两个神经网络协同工作以产生输出。第一个网络（“编码器”）获取一条输入数据并将其压缩为较低维的表示形式。第二个网络（“
解码器”）采用这种压缩表示形式，并基于原始数据属性的概率分布和随机性函数，生成新颖的输出，将“riff”输入到原始输入。
通常，GAN的输出质量比VAE更高，但构建起来更加困难且成本更高。
与更广泛的人工智能类似，生成型AI激发了广泛受益的和可怕的现实世界应用。只有时间能说明哪个将占主导地位。
从积极的方面来看，生成AI的最有希望的用例之一是合成数据。合成数据是一种潜在的改变游戏规则的技术，它使从业人员能够数字化地构建他们训练AI模型所需的确切数据集。
如今，访问正确的数据既是AI的最重要也是最具挑战性的部分。通常，为了训练深度学习模型，研究人员必须从现实世界中收集成千上万个数据点。然后，他们必须在每个数据点上贴上标签，然后模型才能从数据中学习。这充其量是一个昂贵且耗时的过程。最糟糕的是，根本无法获得所需的数据。
合成数据使从业人员能够根据需要人为地创建高保真数据集，以适应他们的精确需求，从而颠覆了这种范式。例如，使用合成数据方法，自动驾驶汽车公司可以生成数十亿个不同的驾驶场景供其车辆学习，而无需在现实世界的街道上实际遇到这些场景中的每一个。
随着合成数据准确地逼近现实世界数据，它将使AI民主化，削弱专有数据资产的竞争优势。在可以按需廉价地生成数据的世界中，跨行业的竞争动态将被颠覆。
涌现出了一批有前途的初创公司来追逐这一机会，包括Applied Intuition、Parallel Domain、AI.Reverie、Synthesis AI和Unlearn.AI。大型技术公司（包括Nvidia、Google和Amazon）也在大力投资于合成数据。合成数据的第一个主要商业用例是自动驾驶汽车，但该技术正在迅速遍及各个行业，从医疗保健到零售以及其他领域。
抵消合成数据的巨大积极潜力，另一种生成型AI应用有可能对社会产生广泛的破坏性影响：DeepFakes。
本质上，DeepFakes技术使拥有计算机和互联网连接的任何人都可以创建看起来真实逼真的照片和视频，这些人所说的和做的事情实际上并没有说或做，只是换了张别人的脸而已。
Deepfake技术已被广泛应用的第一个用例是成人内容。根据初创公司Sensity在2019年7月的一份报告，在线上的Deepfake视频中有96％是有关成人内容的。 Deepfake几乎总是在未经同意的情况下进行的，涉及人工合成具有著名名人或私人联系人的露骨视频。
从互联网上的这些黑暗角落，DeepFakes的使用已开始蔓延到政治领域，在政治领域，危害更大。最近在加蓬、马来西亚和巴西与DeepFakes相关的政治事件可能是即将发生的事的早期例子。
布鲁金斯学会（Brookings Institution）在最近的一份报告中严厉地总结了DeepFakes带来的一系列政治和社会危险：“扭曲民主言论；操纵选举；削弱对机构的信任；削弱新闻业；加剧社会分化；破坏公共安全；并造成难以修复的著名人士，包括民选官员和公职候选人的名誉受到损害。”
合成数据和Deepfake的核心技术是相同的。然而，用例和潜在的现实世界影响却截然相反。
技术上的一个大真理是，任何给定的创新都可能给人类带来巨大的利益，也可能给社会带来严重的伤害，这取决于人类选择使用它的方式。核能确实如此；互联网确实如此。人工智能同样如此。生成式人工智能就是一个有力的例证。
6、“syetem2”推理
诺贝尔奖获得者心理学家丹尼尔·卡尼曼（Daniel Kahneman）在其具有里程碑意义的著作《思考，快与慢》中普及了“系统1”思维和“系统2”思维的概念。
system1是直觉系统，主要负责快速、无意识、非语言的认知，这是目前深度学习主要做的事情；
system2是逻辑分析系统，是有意识的、带逻辑、规划、推理以及可以语言表达的系统。这是未来深度学习需要着重考虑的。
system1的思维是直观、快速、轻松而自动的。system1的活动示例包括识别朋友的脸，阅读路过的广告牌上的文字或填写“战争与_______”一词。system1几乎不需要有意识的处理。
系统2的思考速度较慢，更具分析性和审议性。当需要费力的推理来解决抽象问题或处理新颖情况时，人们会使用System 2思维。system1活动的示例包括解决复杂的脑筋急转弯或确定社交环境中特定行为的适当性。
尽管system11 /system12框架是为分析人类认知而开发的，但它可以很好地映射到当今的人工智能世界。简而言之，当今最先进的AI系统在System 1任务上表现出色，但在System 2任务上却举步维艰。
AI领导者Andrew Ng对此进行了很好的总结：“如果一个典型的人可以花不到一秒钟的时间完成一项心理任务，那么我们现在或不久的将来都可以使用AI将其自动化。”
Yoshua Bengio在NeurIPS的2019年主题演讲中探索了这个确切的主题。 Bengio在演讲中呼吁AI寻求新方法，使AI系统能够从System 1任务扩展到System 2功能，例如计划、抽象推理、因果理解和开放式概括。
Bengio说：“我们希望拥有能够理解世界的机器，能够建立良好的世界模型，能够理解因果关系，并且能够在世界上采取行动来获取知识。”
有许多不同的方法来组织AI学科的议程、轨迹和抱负。但是，也许最强大、最紧凑的方式是这样的：为了进步，人工智能需要在system2思维上变得更好。
尚无人确切知道向System 2 AI迈进的最佳方法。近年来，有关如何执行此操作的争论经常引起争议。这场辩论引发了关于智力概念的基本哲学问题。
Bengio坚信，尽管可以对当今的神经网络进行进一步的创新，但System 2推理可以在当前的深度学习范例中实现。
Bengio在NeurIPS的主题演讲中说：“有人认为我们需要发明全新的东西来应对这些挑战，也许可以回到经典的AI来处理诸如高级认知之类的问题。” “但是，我们现在有一条路，扩展了深度学习的能力，可以解决认知系统2的这类高级问题。”
Bengio指出，注意力机制，持续学习和元学习是深度学习中的现有技术，它们对追求System 2 AI具有特别的希望。
但是，其他人则认为，人工智能领域需要更根本的重置。
教授兼企业家Gary Marcus一直特别提倡非深度学习方法来研究System 2智能。 Marcus呼吁将神经网络与符号方法结合起来的混合解决方案，这种方法在AI研究的最初几年中很流行，但最近却不受欢迎。
“深度学习只是构建智能机器的更大挑战的一部分，” Marcus在现代深度学习时代来临之际于2012年在《纽约客》上写道。 “这类技术缺乏表达因果关系的方法，并且在获取抽象思想时可能会面临挑战……。它们没有明显的逻辑推理方法，距离集成抽象知识（例如关于什么是对象，它们的用途以及通常的使用方式。”
Marcus与他人共同创立了机器人初创公司Robust.AI，以寻求通往可以推理的AI替代途径。就在最近，Robust宣布完成了1500万美元的A轮融资。
计算机科学家Judea Pearl是另一位主要思想家，他认为通向System 2推理的道路不只是深度学习。 Pearl多年来一直倡导因果推理（理解因果关系的能力，而不仅仅是统计关联）是构建真正智能机器的关键。正如Pearl最近所说：“深度学习的所有令人印象深刻的成就都等于曲线拟合。”
在本系列文章探讨的六个AI领域中，最后一个目标是最开放和抽象的。通往System 2 AI的途径很多。前方的道路仍然迷雾重重。这可能是一个曲折的旅程，但是在我们有生之年，它将改变经济和世界。（编译/蒙光伟）
