AI 与边缘计算结合的双向优化 _AI

在面向物联网、大流量等场景下，为了满足更广连接、更低时延、更好控制等需求，云计算在向一种更加全局化的分布式节点组合形态进阶，边缘计算是其向边缘侧分布式拓展的新触角。
以物联网场景举例，设备产生大量数据，上传到云端进行处理，会对云端造成巨大压力，为分担云端的压力，边缘计算节点可以负责自己范围内的数据计算。
同时，经过处理的数据从边缘节点汇聚到中心云，云计算做大数据分析挖掘、数据共享，同时进行算法模型的训练和升级，升级后的算法推送到边缘，使边缘设备更新和升级，完成自主学习闭环。
对于边缘AI总体来说，核心诉求是高性能、低成本、高灵活性。其技术发展趋势可总结为以下几点：

可编程性、通用性；
伸缩性，同一个架构支持不同场景
低功耗，适应更多边缘场景的环境和电力要求
软硬件深度结合
高效的分布式互联和协作计算能力

笔者分别从边缘计算AI加速、端/边/云协同以及边缘计算AI框架等三个部分继续深入剖析AI应用与边缘计算结合之后的双向优化，进一步优化AI应用的用户体验。
01边缘计算AI加速
针对基于边缘计算场景进行AI加速，笔者参考相关论文认为大致可归结为以下四个方面：
云边协同（云端训练、边缘推理）
为弥补边缘设备计算、存储等能力的不足，满足人工智能方法训练过程中对强大计算能力、存储能力的需求，研究人员提出云计算和边缘计算协同服务架构。如下图所示，研究人员提出将训练过程部署在云端，而将训练好的模型部署在边缘设备。显然，这种服务模型能够在一定程度上弥补人工智能在边缘设备上对计算、存储等能力的需求。

文章插图

模型分割（云边协同推理）
为了将人工智能方法部署在边缘设备，如下图提出了切割训练模型，它是一种边缘服务器和终端设备协同训练的方法。它将计算量大的计算任务卸载到边缘端服务器进行计算，而计算量小的计算任务则保留在终端设备本地进行计算。显然，上述终端设备与边缘服务器协同推断的方法能有效地降低深度学习模型的推断时延。然而，不同的模型切分点将导致不同的计算时间，因此需要选择最佳的模型切分点，以最大化地发挥终端与边缘协同的优势。

文章插图

模型裁剪
为了减少人工智能方法对计算、存储等能力的需求，一些研究人员提出了一系列的技术，在不影响准确度的情况下裁剪训练模型，如在训练过程中丢弃非必要数据、稀疏数据表示、稀疏代价函数等。下图展示了一个裁剪的多层感知网络，网络中许多神经元的值为零，这些神经元在计算过程中不起作用，因而可以将其移除，以减少训练过程中对计算和存储的需求，尽可能使训练过程在边缘设备进行。在参考文献中，作者也提出了一些压缩、裁剪技巧，能够在几乎不影响准确度的情况下极大地减少网络神经元的个数。

文章插图

设计轻量级加速体系架构
在工业界，有很多公司开始研究低功耗加速芯片。如寒武纪公司推出的思元系列及华为公司推出的昇腾系列，能够适配并兼容多样化的硬件架构，进而支撑边缘计算典型的应用场景。
在学术界，对于边缘AI硬件的设计工作主要集中在提高深度神经网络及相关算法如CNN、FCN和RNN等的计算性能和效率。研究人员利用神经网络的冗余和弹性等特性来优化计算操作和数据移动，以降低NN算法在专用硬件上的功耗并提高性能。下表总结了一些低功耗机器学习处理器的相关情况。

文章插图

AI在过去几年中，为互联网应用、工业互联网、医学和生物学及自动驾驶等领域带来了突飞猛进的进展。同时，随着边缘计算的逐步成熟，业界必将更加关注边缘计算AI加速方面的研究进展。
由于边缘计算场景的特点，其硬件的异构化程度会显著高于传统数据中心，对现有计算框架也会有非常大的挑战。如何快速支持异构的计算芯片并保证计算的高效，也非常值得产业内的研发力量持续投入。
02端/边/云协同
资源协同
对于边缘计算，需要对计算资源和网络资源有全局的判断，比如边缘设备、边缘节点及中心云资源的使用情况，站在全局角度，进行资源的合理分配，确保性能、成本、服务最优。