对于人工智能计算架构来说，一般可以归结为三类模式：CPU+GPU，CPU+FPGA，CPU+ASIC（专用集成电路）。其中，应用于图形、图像处理领域的GPU可以并行处理大量数据，非常适合深度学习的高并行、高本地化数据场景，是目前主流的人工智能计算架构。

　　GPU又别称为图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器。

　　用途是将计算机系统所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。

　　GPU作为显示卡的“大脑”决定了该显卡的档次和大部分性能，同时GPU也是2D显示卡和3D显示卡的区别依据。2D显示芯片在处理3D图像与特效时主要依赖CPU的处理能力，称为软加速。3D显示芯片是把三维图像和特效处理功能集中在显示芯片内，也就是所谓的“硬件加速”功能。显示芯片一般是显示卡上最大的芯片。时下市场上的显卡大多采用NVIDIA和AMD-ATI两家公司的图形处理芯片。NVIDIA公司在1999年发布GeForce256图形处理芯片时首先提出GPU的概念。从此NV显卡的芯就用这个新名字GPU来称呼。GPU使显卡削减了对CPU的依赖，并实行部分原本CPU的工作，更加是在3D图形处理时。

　　GPU设计之初非针对深度学习而是并行计算

　　GPU关键性能是并行计算。这意味着可以同时处理运算，而不是一步步进行。复杂问题可被分解为更简单的问题，然后同时进行处理。并行计算适用于HPC和超算领域所涉及的许多问题类型，比如气象、宇宙模型和DNA序列。并不是只有天体物理学家和气象学家才能充分利用并行计算的优点。事实证明，许多企业应用能从并行计算获得超出寻常比例的好处。这包括：数据库查询、密码学领域的暴力搜索、对比不同独立场景的计算机模拟、机器学习/深度学习、地理可视化

　　在GPU设计之初，并非针对深度学习，而是图形加速，在NVIDIA推出CUDA架构之前，GPU并无太强对深度学习运算能力的支持。而如今，NVIDIA可以提供基于其GPU的从后端模型训练到前端推理应用的全套深度学习解决方案，一般的开发人员都可以非常容易地上手使用GPU进行深度学习开发，或者高性能运算。而CUDA架构的开发，耗费了NVIDIA巨大的人力物力。可以说，是CUDA这个中间层（computing frame work）的优化，才使得开发者真正爱上了GPU，NVIDIA胜在软件。而CUDA还不能称之为算法，它只是计算硬件与算法之间的桥梁。

　　NVIDIA凭借GPU成为人工智能计算平台的领导者

　　目前来看，NVIDIA作为人工智能计算平台的领导者，但事实是，一开始并非NVIDIA选择了人工智能，而是人工智能的研究者选择了GPU，进而成就了NVIDIA。在2012年，Alex利用深度学习+GPU的方案，一举赢得ImageNetLSVRC-2010图像识别大赛，并奇迹般地将识别成功率从74%提升到85%。NVIDIA敏锐地觉察到了这一趋势，并大力优化基于GPU的深度学习生态系统，并加速迭代开发，三年时间将GPU性能提升了65倍，从而奠定了目前的王者之位。

　　在深度学习过程中，分为训练（training）和推断（inference）两个环节：训练环境通常需要通过大量的数据输入，或采取增强学习等非监督学习方法，训练出一个复杂的深度神经网络模型。训练过程由于涉及海量的训练数据（大数据）和复杂的深度神经网络结构，需要的计算规模非常庞大，通常需要GPU集群训练几天甚至数周的时间，在训练环节GPU目前暂时扮演着难以轻易替代的角色。

　　毫无疑问在深度学习的Training阶段，GPU成为了目前一项事实的工具标准。由于AMD今年来在通用计算以及生态圈构建方面都长期缺位，导致了在深度学习GPU加速市场NVIDIA一家独大的局面。根据NVIDIA今年Q2年报显示，NVIDIA的Q2收入为达到22.3亿美元，毛利率更是达到了惊人的58.4％，其中数据中心（主要为面向深度学习的Tesla加速服务器）Q2收入4.16亿美元，同比上升达175.5％。

　　为了保持领先型，NVIDIA一方面在产品研发上，耗费了高达30亿美元的研发投入，推出了基于Volta、首款速度超越100TFlops的处理器Tesla，主打工业级超大规模深度网络加速；另外一方面是加强人工智能软件堆栈体系的生态培育，即提供易用、完善的GPU深度学习平台，不断完善CUDA、cuDNN等套件以及深度学习框架、深度学习类库来保持NVIDIA体系GPU加速方案的粘性。第三是推出NVIDIA GPU Cloud云计算平台，除了提供GPU云加速服务外，NVIDIA以NVDocker方式提供全面集成和优化的深度学习框架容器库，以其便利性进一步吸引中小AI开发者使用其平台。