边缘计算是一个难题，它为IT架构师和嵌入式开发人员提供了多种选择。终，它可以创建边缘AI，从而实现更快、更丰富的决策。

　　芯片级边缘AI驱动下一代物联网

　　基于AI的机器学习技术已经超越了基于云的数据中心，因为重要的IoT传感器数据的处理越来越接近数据初所在的位置。

　　此举将由配备了新的人工智能(AI)的芯片实现。这些产品包括嵌入式微控制器，其存储器和功耗要求比GPU(图形处理单元)、FPGA(现场可编程门阵列)更小，以及其他专门的IC类型首先用于在Amazon Web Services，Microsoft和Google的云数据中心解决数据科学家们的问题。

　　正是在这些云服务，机器学习和相关的神经网络才得以爆发。但是物联网的兴起造成了数据冲击，这也需要基于边缘的机器学习。

　　现在，云提供商、物联网(IoT)平台制造商以及其他企业看到了在将数据移交给云端进行分析之前在边缘处理数据的好处。

　　在边缘做出AI决策可以减少延迟，并使对传感器数据的实时响应更加可行和适用。尽管如此，人们称之为“边缘AI”的形式仍然很多种。以及如何利用下一代物联网为其提供支持，在呈现高质量的可行数据方面提出了挑战。

　　边缘计算工作量增长

　　基于边缘的机器学习可能会推动IoT市场中AI的显着增长，据Mordor Intelligence估计，到2026年，CAGR将增长27.3%。

　　Eclipse Foundation IoT Group在2020年的研究支持了这一点，IoT开发人员中常引用的边缘计算工作负载中，AI将占30%。

　　对于许多应用而言，复制在云上启用并行机器学习的无休止的服务器机架是不可行的。受益于本地处理的IoT边缘案例很多，并且通过各种操作监控案例来突出说明。例如，处理器可以监视由石油钻井平台上的压力表变化触发的事件，在遥远的电源线上检测到异常情况或在工厂捕获到的视频录像。

　　后一种情况是广泛使用的一种。在边缘分析图像数据的AI的应用已证明是一块肥沃的土地。但是，使用物联网设备收集的数据进行事件处理有许多复杂的处理需求。

　　边缘计算的价值

　　Hyperion Research高级顾问史蒂夫·康威(Steve Conway)表示，基于云的物联网分析仍将持续下去。但是，距离数据必须行进会带来处理延迟。将数据移入和移出云自然会产生滞后，往返需要时间。

　　“有一种叫做光速的东西，”康韦打趣道。 “而且你不能超过它。”因此，处理的层次结构正在边缘发展。

　　除了设备和板级实施之外，此层次结构还包括制造中的IoT网关和数据中心，这些扩展了可用于下一代IoT系统开发的架构选项。

　　SAS物联网和Edge部门产品营销高级经理Saurabh Mishra表示，从长远来看，边缘AI架构是数据处理重点的又一代转变，但这是关键。

　　“这里有进步，这个想法是集中您的数据。您可以为某些行业和某些用例(在数据中心等环境中已创建数据的那些用例)执行此操作。”他说。

　　Mishra说，SAS已经创建了经过验证的边缘物联网参考架构，客户可以在此基础上构建AI和分析应用，这实际上是不可能高效且经济地将其移至云中进行分析的。在云和边缘AI之间取得平衡将是一项基本要求。

　　Eclipse基金会物联网和边缘计算项目经理FrédéricDesbiens表示，要找到平衡，首先要考虑运行机器学习模型所需的数据量。这就是新的智能处理器的发挥作用的地方。

　　“边缘的AI加速器可以在将数据发送到其他地方之前进行本地处理。但是，这需要您考虑功能要求，包括所需的软件堆栈和存储，” Desbiens说。

　　AI 边缘芯片丰富

　　基于云的机器学习的兴起受到高内存带宽GPU(通常以NVIDIA半导体形式)的兴起的影响。这项成功引起了其他芯片制造商的关注。

　　内部AI专用处理器紧随其后的是超大规模云服务玩家Google、AWS和Microsoft。

　　AI芯片之战使得AMD、Intel、Qualcomm和ARM Technology(去年被NVIDIA收购)等企业并驾齐驱。

　　反过来，Maxim Integrated、NXP Semiconductors、Silicon Labs、STM Microelectronics等嵌入式微处理器和片上系统的主流开始致力于将AI功能添加到边缘。

　　如今，物联网和边缘处理需求吸引了包括EdgeQ、Graphcore、Hailo、Mythic等在内的AI芯片初创公司。目前，边缘处理还受到限制。Hyperion的Steve Conway强调说，障碍包括可用内存、能耗和成本。

　　Conway说：“嵌入式处理器非常重要，因为能耗非常重要。GPU和CPU并不是小小的模具，特别是GPU消耗大量能源。”

　　软硬件的配合

　　Maxim Integrated公司的微控制器和软件算法业务执行董事克里斯·阿迪斯(Kris Ardis)建议，数据移动是边缘能耗的一个因素。近，该公司发布了MAX78000，该器件将低功耗控制器与神经网络处理器配对，可在电池供电的IoT设备上运行。

　　“如果您可以在边缘进行计算，则可以节省带宽和通信能力。挑战在于采用神经网络并使其适合相应的配件。” Ardis说。

　　他指出，基于该芯片的单个物联网设备可以为物联网网关提供支持，物联网网关也可以发挥重要作用，将来自设备的数据汇总起来，并进一步过滤可能流向云的数据，以分析整体操作。

　　其他半导体设备制造商也正在适应一种趋势，即计算越来越接近数据所在的位置。它们是扩展开发人员功能的工作的一部分，即使他们的硬件选择不断增长。

　　英特尔物联网部门副总裁比尔·皮尔森(Bill Pearson)承认，曾经有一段时间“ CPU是所有问题的答案”。像边缘AI这样的趋势现在掩盖了这一点。

　　他使用术语“ XPU”来表示支持不同用途的各种芯片类型。但是，他补充说，应该通过单个软件应用程序编程接口(API)来支持这种多样性。

　　为了帮助软件开发人员，英特尔近发布了OpenVINO工具包的2021.2版本，用于在边缘系统上进行推理。它为包括CPU、GPU和Movidius视觉处理单元在内的Intel组件提供了通用的开发环境。皮尔森表示，英特尔还为边缘软件提供了DevCloud，以预测不同英特尔硬件上神经网络推理的性能。

　　NVIDIA企业与边缘计算部门副总裁兼总经理Justin Boitano表示：“该行业必须使非AI专家的工作变得更加轻松。”

　　这可能采用NVIDIA Jetson的形式，其中包括一个低功耗ARM处理器。 Jetson以60年代的科幻动画片系列而得名，旨在为移动嵌入式系统提供GPU加速的并行处理。

　　近，为简化视觉系统的开发，NVIDIA推出了Jetson JetPack 4.5，其中包括其视觉编程接口(VPI)的生产版本。

　　Boitano说，随着时间的推移，边缘的AI开发琐事将更多地由IT部门来处理，而由对机器学习有深入了解的AI研究人员将减少处理。

　　Tiny ML的兴起

　　在终端和边缘侧的微处理器上实现的机器学习过程就叫做tiny Machine Learning(即tinyML)。

　　将机器学习方法从广阔的云迁移到受约束的边缘设备所需的技能并不容易获得。但是正在应用新的软件技术来实现紧凑的边缘AI，同时减轻了开发人员的工作量。

　　实际上，行业已经经历了“Tiny ML”方法的兴起。这些功能以更低的功耗完成工作并使用有限的内存，同时实现了每秒的推理能力。

　　已经出现了各种降低边缘处理要求的机器学习工具，包括Apache MXNet， Edge Impulse’s EON， Facebook’s Glow， Foghorn Lightning Edge ML， Google TensorFlow Lite， Microsoft ELL， OctoML’s Octomizer等。

　　缩小神经网络处理的大小是这里的主要目标，并且这些技术有很多种。Foghorn的首席技术官Sastry Malladi表示，其中包括量化、二值化和修正，Foghorn是支持多种边缘和内部部署实施的软件平台的制造商。

　　神经网络处理的量化侧重于使用低位宽数学。反过来，二值化用于减少计算的复杂性。并且，修正用于减少必须处理的神经节点的数量。

　　Malladi承认，对于大多数开发人员而言，这是一项艰巨的任务，特别是在一系列硬件上。他说，Foghorn的Lightning平台背后的努力旨在抽象化边缘机器学习的复杂性。

　　例如，目标是允许生产线操作员和可靠性工程师使用拖放式界面，而不是应用程序编程界面和软件开发套件，因为它们不那么直观，并且需要更多的编码知识。

　　简化嵌入式机器学习开发平台制造商Edge Impulse的重点还在于简化开发并在多种类型的Edge AI硬件上运行的软件。

　　Edge Impulse首席执行官Zach Shelby表示，终，机器学习的成熟意味着模型的小型化。

　　“研究的方向是越来越复杂的越来越大的模型，”谢尔比说。 “但是，随着机器学习达到黄金时段，人们开始再次关注效率。”从而引入了Tiny ML。

　　他说，必须有能够在现有物联网基础设施上运行的软件，同时支持通往新硬件品种的道路。 Shelby继续说，Edge Impulse工具允许对可用硬件上的算法和事件进行基于云的建模，以便用户在进行选择之前可以尝试不同的选项。

　　关注未来

　　边缘化方面，计算机视觉已成为AI的重要用例，尤其是深度学习的形式，它采用多层神经网络和无监督技术来实现图像模式识别的结果。

　　根据Forrester Research的首席分析师Kjell Carlsson的说法，当今的视觉系统架构正在发生变化，因为边缘的相机通过嵌入式硬件为深度学习增加了处理能力。但是找到的应用目标可能是一个挑战。

　　他说：“人工智能的问题在于，您终会更多地关注'新的'用例。”

　　Carlsson说，开发这些未开发的解决方案存在固有的风险，因此，一种有用的策略是，着眼于具有高成本效益比的用例，即使模式识别的准确性可能落后于成熟的现有系统。

　　总体而言，Carlsson表示，边缘AI可以帮助实现IoT的初承诺，而随着实施者对各种潜在用例进行分类时，边缘AI有时会滞后。

　　“物联网本身有一些局限性。现在，借助AI，机器学习和深度学习，使物联网更加适用-并具有很高的价值，”他说。