「人工智能」AI开源的新兴力量!OPEN AI LAB Edge AI推理框架Tenigne全解读( 三 )


通过对框架设计进行一系列的简化和轻量处理 , Tengine最小程序体积能达到300KB , 在MCU上最小体积为20KB , 并且自带视觉、语音的前后处理函数 , 对额外资源的占用进一步优化 , 提升芯片的适用范围和潜力 。
「人工智能」AI开源的新兴力量!OPEN AI LAB Edge AI推理框架Tenigne全解读
本文插图

5、全栈部署移植支持
AI产业化的难点 , 往往不是一个技术单点 , 而是一套体系化的工作 , 最终成效亦不取决于长版有多长 , 而是取决于短板有多短 。
Tengine从诞生至今 , 已开发出具备量化训练工具、调试工具、模型库、编译器等工具在内的完整工具链 , 能进一步满足开发者的各类高精度应用需求 。
「人工智能」AI开源的新兴力量!OPEN AI LAB Edge AI推理框架Tenigne全解读
本文插图

(二)Tengine的前世今生
不难看出 , 其实Tengine与国内外大多数开源的深度学习框架和平台定位是不同的 。
目前 , 国内大多数公司和机构的开源框架和平台 , 更多是涉及机器学习、深度学习、自然语言处理和数据科学等领域 , 但针对AIoT领域嵌入式设备进行开源的框架和平台少之又少 , 在商业领域同样鲜少出现 。
2016年 , 虽然AI的主要应用方向还是在云端 , 但已开始出现AI从云端往设备端迁移的趋势 。 黄明飞谈到 , OPEN AI LAB曾尝试使用TensorFlow、Caffe等开源框架 , 对嵌入式设备应用进行开发和设计 , 但却无法充分发挥其AI性能 。
“它们无论是尺寸 , 还是优化设计 , 都不是围绕着嵌入式端来设计的 。 ”黄明飞坦言 , 如果要去改动这些框架 , 实际上是非常困难的一件事 。
为了更好的做到行业赋能与生态协同 , OPEN AI LAB投入到嵌入式AI推理框架的研发中 , 自此Tengine诞生 。
2017年 , OPEN AI LAB正式在Github上发布第一个Tengine版本 。 至今 , Tengine已经经历了4个大版本的升级 , 并在这一系列的迭代和更新中 , Tengine也逐渐形成了自己的体系化能力及优势 。
随着Tengine开源的发展和推动 , 它已经成功帮助智慧城市、公共交通、智慧车载、工业智能、智慧养殖、消费电子和智能家居等多个领域的企业 , 实现了广泛的行业落地和应用 。
例如 , 面向智慧停车管理方向的合作伙伴 , 利用Tengine开发了AI+停车模式 , 能够识别有牌车与无牌车 , 以及车牌、车型、车身颜色、车内人脸等420多种车辆及车辆附属物品 。
Tengine作为国内自主知识产权的商用级AIoT智能开发平台 , 从短期看 , 它不仅能帮助开发者在开发过程中 , 进一步提升算法移植和部署效能;从长期看 , 它的开源也将为打破AIoT产业壁垒 , 快速整合上下游以实现AIoT产业的落地和应用 , 为丰富全球AI开源生态提供了重要的推动力 。
(三)Tengine开源与商用的双螺旋
“实际上 , Tengine需要面对两个方面 , 一是开发者 , 二是行业客户 。 ”黄明飞谈到 , 开源不是商业行为 , 但OPEN AI LAB作为一个创业公司 , 在满足开发者需求的同时 , 仍需要面向行业客户而生存 。
但也因为这一特殊性 , Tengine的发展也逐渐形成一个产业与开发者双向“反哺”的过程 。
“在过去两三年里 , Tengine主要优先解决行业客户的问题 。 ”在黄明飞看来 , 行业客户所面临的问题具有代表性 , 能够从系统的角度来帮助改进Tengine 。 随着研发人员在满足客户需求的前提下不断调整Tengine , OPEN AI LAB又将Tengine的开源版本进行迭代 , 从而反哺到开发者 。
“开发者所提出的很多问题对改进Tengine很有价值 。 ”黄明飞说到 , 在未来一年里 , OPEN AI LAB也将进一步把开发者和商业客户放到同等重要的层面 , 与开发者共同将Tengine演进成更优秀的开源项目 。


推荐阅读