给手机“减负”！Facebook发布提高设备AI工作能效的AutoScale
From:VentureBeat;编译：Iris
决定AI应用在智能手机上终端还是在云端运行 ， 对于用户和开发AI应用的企业都十分重要 ， 因为这与运行设备的长期电池寿命息息相关 。 大多数智能手机都或多或少地嵌入了AI应用 ， 但如果所有的AI工具都在终端运行 ， 有可能导致手机性能下降；而在云端运行 ， 则可能导致较长的调用时间 。
为了解决这一问题 ， 近日Facebook和亚利桑那州立大学建立了一个支持AI减轻设备负荷的模型——AutoScale 。 该模型能够自动决策部署AI运行的位置 ， 节省了大量成本 ， 将AI工具的能效提高到基线方法的10.8倍；更能准确预测AI应用的合适位置 ， 达到高性能和低能耗兼备的理想效果 。
高能效+低负荷AutoScale：挖掘强化学习算法的潜能
AutoScale会观察当前的AI工作执行效率 ， 包括算法的架构特征和运行时间差异 。 它在协同处理器等硬件之间选择 ， 找到能够最大限度提高能源效率的硬件 ， 以保证AI助手的服务质量 。 对选定硬件定义的目标执行推理后 ， 通过观察其结果 ， 包括演算运行能耗、延迟度和推理精度 ， 以表明选中的硬件是否提高了AI工作效率 。
文章图片
AutoScale模型
AutoScale基于强化学习算法 ， 计算累计奖励(R值) ， 来选择AI工具的最佳运行方式 。 例如：对于给定的处理器 ， 系统使用基于AI能效利用率的模型计算奖励 ， 假设处理器内核消耗的功率是可变的 ， 内核在繁忙和空闲状态下花费的处理时间不同 ， 其能源使用情况也各不相同 。 相比之下 ， 当推理扩展到连接的数据中心时 ， AutoScale可以借助基于信号强度的模型来计算奖励 ， 预测传输延迟度和网络消耗的能量 。
文章图片
在适应QoS限制条约的前提下 ， 比起基线模型 ， AutoScale更能提高能效
3款手机实验 ， 3次场景模拟
为了验证AutoScale的有效性 ， 团队在三款智能手机上进行了实验 ， 每款手机都用功率表测量其能耗 ， 这三款手机分别是：小米Mi8Pro、三星GalaxyS10e和摩托罗拉MotoXForce 。 为了模拟云推理执行 ， 他们将手机连接到服务器 ， 通过Wi-FiDirect将三星S6平板电脑连接到手机 ， 模拟执行AI助手的口令 。
AutoScale的推理方式主要分为五步：
1.将DNN特征和环境信息等设置为输入源
2.在查找表中选择合适的预测操作
3.将AI工具分配到预测的位置
4.记录AI工具的运行能效 ， 评估各参数后给出R值
5.将记录好的参数更新在查找表里 ， 实现自适应性预测 。
文章图片
针对这三款手机 ， AutoScale准确选择出理想的执行目标
实验显示 ， 在自动定量训练阶段 ， 设备执行了100次推理训练 ， 使用了64,000个训练样本 ， 并编译或生成了10个AI模型 ， 其中包括机器翻译工具MobileBERT和图像分类器Inception 。 团队分别在静态和动态设置情况下展开后续实验 ， 针对每种设置情况模拟了三个不同的场景：
·non-streaming计算机视觉测试场景 ， 允许AutoScale对手机摄像头拍摄照片功能进行推理；
·streaming计算机视觉场景 ， AutoScale可以对手机摄像头的实时拍摄视频功能进行推理；
·调用翻译工具的场景 ， AutoScale能够对翻译AI工具的编译过程进行推理 。
文章图片
在现实环境模拟中 ， AutoScale准确预测了理想执行目标 ， 并极大地提高了DNN边缘推理的能效 。 在以上三个场景中 ， AutoScale的表现都优于基线模型 。 AutoScale的网络延迟度较低 ， 在non-streaming计算机视觉测试场景中的延迟时间甚至缩短到小于50毫秒 ， 其在翻译场景中的延迟时间则小于100毫秒 。 它也同时在维持低延迟的条件下保持了高性能 ， 比如在streaming计算机视觉场景中 ， 它可以达到每秒处理约30帧画面的工作效率 。
此外 ， AutoScale的预测准确率高达97.9% ， 在边缘推理方面的能效是基线模型所能做到的1.6～10.8倍 。 它占用的内存也较小 ， 仅有0.4MB ， 相比之下 ， 中端手机的内存容量为3GB ， AutoScale仅需占用0.01% ， 可见其“性价比”之高 。
【给手机“减负”！Facebook发布提高设备AI工作能效的AutoScale】Facebook和亚利桑那州立大学的研究人员乐观地表示：“我们证明了AutoScale是一个可行的、能够自动化推理出最低AI能耗的解决方案的模型 ， 并将为在各种实际执行环境下进行DNN边缘推理的能效改进工作预先做好万全的准备 。 ”
推荐阅读
![[东方金钰]市值从300亿跌到20亿，守着百亿存货，东方金钰家里有矿？](http://dayu-img.uc.cn/columbus/img/oc/1002/463e18e8dc8ad647a0a563fd560849fb.webp)
- 百亿富豪遇“麻烦”，相中老牌百货，举牌后遭警示，恐添变数？
- 疫情冲击经济，第一个“破产”的国家出现！今年5次调查自华产品
- 美国用“核试验”来恫吓中国“核裁军”，那是赤裸裸的核讹诈
- “泡芙消极事件”引关注，Curse：大家都不ping人，除非特别恶心
- Knight要扣工资了，Cryin发信息给他：WE买了Tarzan又卖给LNG
- 云顶日报0516 史上最“短命”套路？炸弹人惨遭热修
- 三国杀：卡牌是否应该“界限突破”？且看这版「界闪电」设计如何
- 这3个星座爱得忠诚，弱水三千只取一瓢，用情至深断绝“暧昧”
- 又一位“埃梅里”，巴黎青训小将崭露头角
- “神童”将加入NBA发展联盟？未来的中国男篮，强敌恐不止日本！