云天励飞IPU聚焦嵌入式视觉智能终端

据介绍，云天励飞AI芯片的技术路线是通过设计一系列面向多层神经网络的可编程处理器，应对人工智能算法的快速迭代。“我们首创的‘自适应云+端’AI系统架构，可通过云端逻辑控制终端芯片，自动更新终端芯片的算法和功能。”据云天励飞联合创始人、CEO陈宁介绍，云天励飞自主研发的专用深度学习神经网络处理器芯片，采用ASIP设计思路，提供ASIC级别高性能和低功耗，也能提供处理器级别的指令集灵活性。同时，采用异构计算多核SOC架构，集成多处理器单元，并行分布式处理与集中控制系统。

与传统芯片迭代速度相比，AI芯片迭代更快。“目前来说，算法每半个月迭代一次，AI芯片则要同步迭代，而传统芯片的迭代是按年计算。现有的CPU或GPU无法满足嵌入式端视觉AI应用。”据云天励飞研发副总李爱军表示，通用CPU在神经网络加速上速度慢，性能上满足不了对嵌入式端的需求;GPU性能是够的，但功耗高、成本居高不下。“所以，我们觉得有必要去研究适应新型神经网络的深度学习处理器架构芯片。”而云天励飞研发的芯片是面向嵌入式端的边缘计算人工智能芯片，专注智能视觉，聚焦在安防、智能商业等领域的场景应用。

拥有国内顶尖ASIP矢量处理器芯片设计团队

“云天励飞做芯片不是临时起意，而是从公司创立之初就开始了芯片的布局。”据陈宁介绍，云天励飞早在2014年就有了完整的“机器学习与视觉智能处理器”AI芯片解决方案，并获得2015年深圳孔雀团队第一名。

在当时，云天励飞的芯片研发团队是国内AI芯片界唯一有芯片商用经验的团队，陈宁本人是中国第一款商用矢量处理器芯片的设计者，而芯片团队主导者李爱军是原中兴通讯手机芯片的研发负责人，主导研发了国内第一颗28nm手机芯片商用(2010)和国内首款LTE多模手机芯片商用。

陈宁说，“我们的芯片研发团队是国内顶尖的ASIP矢量处理器芯片设计团队，主要的骨干团队成员有丰富的矢量处理器、复杂SoC芯片设计经验，且平均设计经验超过10年。”

IPU具有高能低耗、可编程、可云端升级等特点

据了解，云天励飞在2016年完成了第一代深度学习神经网络处理器NNP100的研制，并基于FPGA载体实现商用。

李爱军介绍说，NNP100深度结合云天励飞自研深度学习算法，与自研神经网络模型深度耦合，具有强大的运算处理能力以及灵活的模型pooling能力，设计上支持PE数量根据场景需求任意扩展和裁剪，非常灵活，同时它又具有高性能、低时延和低功耗技术优势。

“相比之前的应用效果，采用NNP100后FPGA加速卡，计算性能相比GPU提升2倍，功耗减低 5 倍，时延减低100倍。”李爱军介绍，目前NNP100应用在云天励飞的DeepEye100智能盒子和DeepEye200服务器加速卡产品上。基于NNP100的技术基础，云天励飞已经在研发第二代深度学习神经网络处理器NNP200，并取得阶段性成果。NNP200将集成于云天励飞IPU (inteligence processor unit)芯片上，并用于智能终端产品。

据介绍，云天励飞的视觉AI芯片具有2Tops/W的高能量效率。与Nvidia开源的nvDLA相比，相同运算力下，在很小的内存带宽下，算法模型效率可以提高18倍。与麒麟970相比，相同运算力下，比970的性能提高4.4倍。

“云天的芯片除了高能低耗的优势之外，还能实现可编程，远程一键升级。芯片可同时处理多路高清视频，此外，通过片间级联还可进行扩展。”李爱军说，多芯片级联，相当于搭积木一样，一颗一颗之间通过板级互联进行扩展。通过级联扩展最多可以同时处理64路视频。

“我们采用业界领先的22nm工艺，工艺的性能、功耗、面积经过仿真、分析、比对，对比业界主流的28nm工艺，都具有一定优势，性能提升约10%，功耗降低约15%，面积减小15%-20%。”陈宁还提到，云天励飞的IPU芯片计划在今年年中实现流片，并在明年上半年推向商用，最终通过模式创新，打造一个开放赋能的芯片平台。

云天IPU最大亮点——对场景理解更为深刻

相比传统的芯片，AI芯片更注重“从场景到算法，从算法到芯片”。正因为不同于以往从硬件出发的思路，AI芯片的行业形态和商业模式正在发生着变化。目前，AI芯片的应用场景主要集中在安防、智能家居和消费电子、自动驾驶、云计算、智慧城市等行业。

“由于目前还不存在适用于所有通用算法的嵌入式AI芯片，确定芯片的应用场景就显得尤为重要。”陈宁提到，过往三年，云天励飞深耕安防领域，最先提出了针对安防行业“云+端”的解决方案，真正做到将AI技术落地于垂直场景。

而云天励飞的拳头产品“深目”系统，在深圳和全国已建设在线智能前端设备10000多路，动态人像数据量150+亿，是全球最大的动态人像数据库。“在场景定义算法，算法定义芯片的今天，我们的算法训练来源于真实的场景，这也意味着在我们的芯片对场景的理解更深，我们知道应该如何去优化才能做到最好。” 陈宁还提到，“算法+芯片+数据”的闭环生态是云天励飞的核心竞争力，同时，云天励飞也是国内唯一一家同时拥有算法、芯片和数据三个要素的公司。

2025年，让1亿摄像头拥有“AI芯”

中国已经成为世界上视频监控发展速度最快的国家，我国一些一线城市已经实现了监控摄像头的100%全覆盖。据行业调查公司IHSMarkit的最新统计数据显示，目前中国在公共和私人领域(包括机场、火车站和街道)的监控摄像头安装量目前已有1.76亿个，未来三年该数量将会成倍增长，达到6.26亿个。

“云天励飞想做的，就是用芯片的产品，去激活这些传统的摄像头。在2025年，让1亿摄像头拥有‘AI芯’。”

据介绍，云天励飞走的是一条“算法+芯片+数据+应用+服务”、提供端到端整体解决方案的路线：将算法植入前端的智能摄像头，进行人像检测、特征值提取，数据上传到云端，由云端引擎进行搜索和识别、决策。前端后端算法联动和深度优化，而芯片级的解决方案则是核心。

陈宁还提到，云天励飞除了在芯片技术上的创新之外，还将探索芯片商业模式的创新，力推“芯片+服务”的新玩法。“未来，我们甚至可能会推出免费的芯片试用，改变以往卖芯片的方式，以服务的方式让云天的AI芯能下渗到行业，最终达到赋能百业的目的。”