「人工智能」AI开源的新兴力量！OPEN AI LAB Edge AI推理框架Tenigne全解读( 二 )
“如果简单来形容 ， 它就是一个嵌入式的AI推理框架 ， 帮助算法开发者解决在AI快速产业化落地中遇到的各个瓶颈难题 。 ”黄明飞说到 ， 相比业内系列框架 ， Tengine有两个特点 ， 一是物理位置层面 ， 其所关注的重点是嵌入式设备 ， 也就是海量的AIoT应用设备 ， 而非服务器集群；二是业务模式层面 ， 重点在于推理 ， 并非训练 。
从架构上看 ， Tengine自上而下主要可分为模型兼容层、基础工具链、模块化架构层、操作系统层、异构计算层五大框架层级 ， 具有跨算法框架兼容、跨芯片适配、算力异构调度加速、轻量无依赖、一致性开发移植部署工具链几大核心能力 ， 以有效提升AI生产力 。
本文插图
1、跨OS/算法框架适配
随着AI在产业、学术界的快速发展 ， 市面上主流的算法训练框架蓬勃发展 ， 如TensorFlow、Caffe、PyTorch、MXNet、ONNX、PaddlePaddle等以其各自的优势 ， 在行业中获得广泛使用 。
但对于开发者而言 ， 训练只是第一步 ， 训练后获得推理模型的有效部署才是解决场景问题的关键 ， 快速的硬件平台迁移及高效部署已经成为AIoT产业快速发展的掣肘 。
Tengine目前广泛支持市面上主流的模型格式 ， 如TensorFlow、Caffe和MXNet ， 并且通过ONNX模型实现了对PyTorch和PaddlePaddle的支持 ， 让开发者能更自由地选择训练框架 ， 降低了面对不同硬件和场景而迁移平台的成本 。
在操作系统层面 ， 由于AIoT场景的差异化及非收敛性 ， Android、Ubuntu、RTOS等各有其适配的产品形态 ， Tengine同样在OS层面进行了兼容适配 ， 以简化AI开发者的开发流程 。
本文插图
2、跨芯片平台适配
算法框架及操作系统之外 ， 一个更为大众所津津乐道的就是芯片的发展 。
当下AIoT芯片发展百家争鸣 ， 不同场景需求、性能需求、功耗需求、成本需求 ， 带来的是芯片厂商的芯片系列的广泛定义 ， 这也是AIoT产业蓬勃发展的重要特征 。
但芯片的持续创新迭代 ， 对于开发者 ， 特别是占据市场创新能力大半的中小型团队来说 ， 算法开发、芯片适配、动态资源调度、性能调优往往依赖于庞大且冗余的技术栈能力 ， 直接导致产业化窗口把握、开发成本居高不下、决策周期长等一系列问题 。
为了助力产业提速增效 ， Tengine为开发者提供跨硬件设备的统一开发平台 ， 在不同硬件设备上的API都尽可能保持一致 ， 帮助开发者以一致的方式实现对不同芯片的有效调用适配 。
开发者仅仅需要通过Tengine API ， 就能充分调用包括MCU、Arm Cortex-A/M系列处理器、Arm中国周易AIPU ， 以及海思NNIE、瑞芯微RK3399Pro NPU等等在内的芯片算力 。
本文插图
3、异构/加速支持 ， 芯片有效性提升
业务跑通是第一步 ， 跑得快跑得好才是芯片优势的核心体现 。
Tengine通过异构计算技术 ， 能够帮助开发者同时调用CPU、GPU、DSP、NPU等不同计算单元的运算资源 ， 进一步提升芯片有效性 ， 以完成AI网络计算 。
本文插图
4、超轻量无依赖
在AIoT非常多场景中 ， 考虑功耗、成本等要素 ， 往往对于资源的分配极为苛刻 ， 不依赖外部库很多时候会成为工程化场景的一大诉求 。 为此 ， OPEN AI LAB专为嵌入式神经网络推理设计了一个HCL vision的图像处理库 ， 拥有常见图像处理算子 ， 以满足神经网络推理前后处理需求 。
推荐阅读
- ：原创 苹果为iPhone SE二代备货4000万部，准备在新兴市场大放异彩
- 牛科技@原创 苹果为iPhone SE二代备货4000万部，准备在新兴市场大放异彩
- 「图像处理」李沐团队提出最强ResNet改进版，多项任务达到SOTA | 已开源
- 每日经济新闻咨询@联邦学习成人工智能新贵 腾讯安全：技术服务能力才是重点
- 【】人工智能突破三维矢量全息新技术
- 『』一汽集团成立人工智能公司，2019人工智能应用场景、发展趋势分析
- 「人工智能」AI“慢生意”，驶入“快车道”
- 『栈外』人工智能一秒把照片转成油画，我们为什么还需要画家？
- 清疯子：身边的人工智能技术
- [人工智能]原创 张强委员：运用人工智能技术减少医患感染