未来的汽车和卡车将由运行着多种不同深度神经网络的AI超级计算机驱动。面对这样巨大的AI工作负载，最新的 MLPerf Inference 0.5 基准测试套件能够深入洞察用于推理的解决方案的真正性能，其中就包括自动驾驶汽车。

　　NVIDIA Xavier系统级芯片和Turing GPU 是NVIDIA DRIVE AGX平台的驱动引擎，它在业内首个独立AI推理基准套件MLPerf Inference 中大获成功。这一成就展现了NVIDIA在各种AI推理任务与应用场景中的领导地位，而AI推理对于自动驾驶汽车的安全行驶来说不可或缺。

　　推理指的是在实时生产系统中，通过运行AI模型，从大量数据中筛选出可执行洞察的过程。NVIDIA DRIVE 同时运行多个深度神经网络，通过各传感器生成的海量数据感知车辆周围环境。这些深度神经网络必须能够实时分析关键数据，以执行交叉路口识别和可行驶路线分类等各种不同的冗余功能。

　　未来汽车将是一台高性能的边缘计算设备。我们将与汽车进行交流，而汽车将做出回应，回答问题，引导我们前往目的地并提醒我们路况。它将成为我们的副驾驶和守护者。它不仅能够接过控制权进行自动驾驶，还能监测驾驶员的反应并保护我们。为此，汽车需要集成大量AI算法并在一台能够同时运行多个不同神经网络的高性能计算机上运行这些算法。

　　MLPerf 0.5推理测试是一套用于评估此类复杂工作负载的基准测试。它通过边缘计算等各种场景中的多项基准测试，验证一项解决方案是否能够出色地完成现如今汽车所需的多项任务，而不仅仅只是一项任务。

　　这就是为何NVIDIA Xavier的基准测试成绩对于汽车制造商而言如此重要。Xavier处理器在两种边缘场景（单流和多流）中都被评为性能最高的商用边缘和移动芯片系统。目前，Xavier处理器驱动用于自动驾驶和智能驾驶舱应用的NVIDIA DRIVE AGX计算机。这台AI超级计算机可同时运行多达20个深度神经网络，其中包括多种理解周围环境的模型，比如检测车道标记线的LaneNet、检测可行驶路径的PathNet、判定中心线的PilotNet、识别道路标志的SignNet、识别交通信号灯的LightNet、用于交叉路口检测的WaitNet、探测障碍物的DriveNet、检测可驾驶空间的OpenRoadNet 以及确认停车位位置的ParkNet等。

　　此外，在车内还有用于监测驾驶员的深度神经网络，包括可以判定头部姿势、检测眨眼情况和读懂唇语的神经网络。未来汽车将能够与人类驾驶员进行对话，因此需要配备先进的语音识别、自然语言处理和文本-语音转换功能，而且这些功能全都要求低延迟。

　　这些功能各异的神经网络系统将通过一系列不同类型的神经网来处理各种类型的数据。此类网络需要强大的处理性能来为自动驾驶汽车提供具有智能语音控制功能的用户界面。

　　但是，当所有制造商都表示其未来处理器所达到速度TOPS会越来越高时，我们如何能确定这些处理器能够实现其所许的承诺？ 显然，这不仅涉及到处理器的原始峰值性能，还涉及到这些处理器如何处理AI工作负载。 MLPerf基准就是行业内评估AI推理性能的一种方法。

　　NVIDIA是14家企业机构中唯一一个提交了全部五项MLPerf 基准测试结果的AI计算平台公司。这些基准基于今年早些时候用于评估行业内AI训练能力的测试。

　　MLPerf通过五项基准用于评估三个AI应用性能，分别是图像分类、目标检测和翻译。该基准所定义的服务器和线下场景与数据中心应用的关联度最高，而单流和多流场景则用于自动驾驶汽车等边缘设备。

　　NVIDIA的数据中心场景基准测试结果排在第一位，Turing GPU成为市面上单处理器性能最高的产品 。Xavier在边缘场景中的表现超过了市面上其他的边缘和移动芯片系统。

　　多流场景可以测试芯片能够处理数据源的数量。配备多种传感器的自动驾驶汽车是必须能够实时处理这些不同数据源的典型边缘设备。

　　此次测试结果展示了我们处理器上 CUDA 和TensorRT软件的性能。它们提供了一个使我们在多个产品和应用中取得领先结果的通用平台，而这就是NVIDIA所独有的能力。

　　MLPerf已经获得行业和学术界的广泛支持。其成员包括Arm、Facebook、Futurewei、通用汽车、Google、哈佛大学、Intel、MediaTek、微软、NVIDIA及Xilinx。

　　在实际工作负载中，由于推理需要大量预处理和后处理步骤，因此其要求极为苛刻。这就是为什么越来越多的行业选择使用高性能的NVIDIA平台来处理推理工作，其中包括BMW、Capital One、思科、Expedia、John Deere、微软、PayPal、Pinterest、宝洁、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃尔玛等极具远见的的交通运输和科技公司。

　　未来，会话式AI将带来大量的机会以及技术方面的挑战。NVIDIA在这一领域同样是当之无愧的领导者。

　　NVIDIA DRIVE IX是一个智能体验平台，在AI驱动下可提供车辆与车内人员的交互功能。 该平台通过嵌入式语音软件实现乘客和驾驶员与汽车的自然对话。

　　除了AI智能驾驶舱之外， NVIDIA还为会话式AI服务提供了经过优化的参照设计，比如自动语音识别、文本-语言转换和自然语言理解等。NVIDIA的BERT、GNMT 和Jasper 等AI模型开源优化帮助开发者实现顶尖推理性能。

　　我们很高兴能够与交通运输行业分享这个好消息，即NVIDIA Turing GPU和NVIDIA Xavier系统级芯片在MLPerf基准测试中取得了在各自细分市场的最好成绩。现如今，每天都有许多公司自称自己在AI技术领域取得了卓越的成果，令人难辨真假。MLPerf 0.5推理结果就是为了通过多项测试中的实际性能和表现辨别这些信息的真实性。测试结果表明，NVIDIA Xavier系统级芯片是未来汽车制造商的首选。