英国《新科学家》周刊10月9日一期发表题为《超大型人工智能：真正的智能机器仅仅是规模问题吗？》的文章，作者是莫迪凯·勒维。全文摘编如下：

　　当人工智能GPT-3（生成型已训练变换模型3）去年发布时，给人留下了精通人类语言的良好印象，在指令下生成流畅的文本流。但经验丰富的观察家指出了它的许多错误和过于简单化的架构。如果没有足够的理由让人信服像GPT-3这样的人工智能可能很快就会具备人类水平的语言能力、推理能力以及我们所认为的智能的其他特征，他们坚持认为，这只是一台没有大脑的机器。

　　GPT-3的成功可以归结于它比任何同类型的人工智能都大。这意味着，大致说来，它拥有更多的人工神经元。没有人预料到，这种规模的转变会带来如此大的不同。但随着人工智能规模的不断扩大，它们不仅在各种任务上证明自己与人类不相上下，而且还展示了自己应对前所未有挑战的能力。

　　规模带来巨变

　　人工智能领域的一些人开始认为，向更大规模发展的势不可挡的驱动力将使人工智能具有堪比人类的能力。纽约大学的塞缪尔·鲍曼就是其中之一。他说：“大幅提升当前的方法，特别是在经过十年或二十年的计算改进之后，似乎很可能使人类水平的语言行为变得容易实现。”

　　如果这是真的，那将是巨变。当然，许多人仍然怀疑这种情况会出现。时间会证明一切。在评估人工智能语言方面，鲍曼是世界上最顶尖的专家之一。2011年，当他开始攻读博士学位时，人工“神经网络”才刚刚开始在这一领域占据主导。受大脑中真正的神经网络的启发，它们由相互关联的处理单元或人工神经元组成，程序通过这些处理单元学习。

　　与普通软件不同，研究人员不会给神经网络提供指令。相反，它们被设计成接受任务训练，直到学会很好地完成这项任务。假设有一堆动物图像，每张都有人工注解，比如“狗”或“猫”，神经网络可以通过训练来预测它以前从未见过的图像的正确标签。每当它弄错一个，就会有一种系统的方式告诉它，如果给它足够的训练素材，神经网络在识别动物上就会更准确。

　　数据训练模型

　　但这些神经网络，也被称为“模型”，并不局限于识别猫和狗。1990年，当时在加利福尼亚大学圣迭戈分校工作的杰弗里·埃尔曼想出了一种训练神经网络处理语言的方法。他发现，他可以从句子中删除一个单词，并训练神经网络来预测缺失的单词。埃尔曼的模型只能区分名词和动词。令人着迷的是它不需要费力的人工注解。他可以通过简单地删除随机单词来创建训练数据。

　　最终，研究人员意识到，重新训练一个模型来解决更具体的问题是简单明了的。这包括语言翻译、回答问题和情绪分析，例如，让它们来衡量电影评论是正面还是负面的。

　　诀窍是用越来越多的数据训练模型，为了处理来自互联网和其他来源的大量文本，模型必须更大。人工智能领域也在以新的方式构建神经网络，创造出用不同接线方式连接的神经元的新排列。2017年，谷歌研究人员创建了一种名为“变换器”的神经架构，事实证明这种架构具有很强的可扩展性。为了寻找更好的性能，研究人员在短短几年内将基于变换器的模型从数亿个参数——每个参数大致相当于神经元之间的连接——升级到数千亿个。

　　常识推理测试

　　这一战略得到了回报。纽约康奈尔大学的亚历山大·拉什说，这种能改变规模的变换器模型做的一些事，“比我对自然语言可能实现的预期低了几个数量级”。到2020年底，一种名为BERT的变换器衍生架构已经克服了一些真正困难的挑战。其中一项涉及一般阅读理解。另一项测试与常识推理有关。这些模型被要求分析诸如“因为个头太大，行李箱无法装进汽车后备箱”等句子，并确定“它”是指行李箱还是后备箱。当然，正确答案是行李箱。

　　鲍曼说，完成这项任务需要一定的理解深度。这些模型在人类水平上解决了这个问题，这意味着它们的表现确实和人类一样出色。

　　在过去几年里，进步快得令人眼花缭乱。虽然像变换器这样的结构创新意义重大，但这种进步大多要归功于规模。鲍曼说：“非常明显的趋势是，一旦你再增加一个数量级的规模，我们能够想到的大多数测试会得到解决。”

　　这种规模和智能之间的关系没有比2020年5月推出的GPT-3的例子更明显了。GPT-3号称拥有1750亿个参数，是2019年2月发布的拥有15亿个参数的GPT-2的放大版本。然而，它在语言能力上比GPT-2有了巨大飞跃，从难以写出连贯的段落，到写出2000字可以被认为是人类水平的论文。

　　诚然，要抓住大型语言模型错误仍然很容易。如果你问GPT-3，一只脚有几只眼睛，它可能会告诉你两只。还有很多能力像GPT-3这样的模型所不具备，比如理解因果关系。即便如此，对已取得成果的分析表明，这些缺陷并不是不可逾越的。事实上，在2020年，开放人工智能研究中心研究人员发现，规模化的好处是可以预测的。他们遵循一条明确的规律：GPT式模型的规模每增加一次，它就能更好地预测缺失的单词，这转化为改进各种语言任务的性能。

　　像人一样学习

　　人们经常争辩说，当模型成功进行推理时，仅仅是因为它们通过无数素材记住了其中的模式。鲍曼说：“总有这样一种理论，认为你仅仅学会了测试的诀窍。”但是，GPT-3甚至不需要测试素材。如果你解释一个虚构的概念叫“Burringo”，告诉它这是一款速度非常快的汽车，GPT-3会立即开始推理这个词，谈论把“Burringo”放在车库里。

　　鲍曼说，从头开始学习新事物的能力是模型可以像人类一样推理的众多信号之一。人工智能到底能在多大程度上实现规模化，还需要时间。很多人相信有必要采取不同的方法来取得下一步的进展。

　　但是，无论我们以哪种方式实现人工通用智能，如果它确实是一个现实的目标，规模化的语言模型已经清楚地表明，我们需要更复杂的方法来评估人工智能的智力——以及它们与我们的智力如何比较。布朗大学和谷歌人工智能公司的埃莉·帕夫利克说：“模型在一项任务中成败的原因有很多，其中一些与‘智力’是一致的，有些则不是。”

　　在一项研究中，帕夫利克观察了模型是否会学习系统推理，这是众所周知的人类会做的事情。在“追猫的狗跑得很快”（The dog that chases the cats runs fast）这句话中，人类不需要看这句话就能知道单数“跑”（runs）是正确的，而不是“跑”（run）。他们只是认识到这是一种普遍的、系统的模式的一部分。帕夫利克已经证明，在附加说明的情况下，基于BERT的模型会做类似的系统推理。她说：“这不像是一种随意记忆并且映射输入和输出的模型。它似乎有与我们正在寻找的一致的内部表述。”

　　现在，规模本身正在发生变化。研究人员最近想出了如何设计出可以通过学习图像、视频和文字训练自己的模型。这使他们能够从更丰富的自然数据中学到更多东西，更像人类所做的那样。很快，谷歌将公布一个万亿参数模型的结果，这是有史以来最大规模的。