打破开发门槛,地平线“天工开物”让AI开发无难事

回溯到2019年 , 地平线“天工开物”AI开发平台首次亮相 , 当时仅对外公布了工具链部分 。 而时隔一年后 , 地平线发布了包含三大功能模块的全新升级“天工开物” 。 这次升级背后 , 折射了地平线对合作伙伴怎样的服务态度呢?
近日 , 地平线“天工开物”产品负责人陈本东以《为开发者赋能 , 地平线“天工开物”如何打破AI开发门槛?》为题展开了一场别开生面的线上分享 。 陈本东以AI开发平台的评判标准切入 , 讲述了“天工开物”的功能模块、亮点更新与实际应用效果 。
《地平线“天工开物”让AI开发无难事》线上分享 , 含QA
以下为经整理后的分享——
打破开发门槛,地平线“天工开物”让AI开发无难事
文章图片
“让AI开发无难事”是“天工开物”的最终目标
人工智能60余年的发展 , 这项产业终于到了大规模落地的前夕 。 一个当前的共识是 , “人工智能将成为像水电煤一样的基础设施 。 ”
但随着参与产业的程度不断加深 , 地平线对AI从技术演示到商业落地的漫长路径有了更切身的理解 。 我们看到 , 将AI解决方案集成到合作伙伴的产品中 , 赋能并成就合作伙伴 , 对大部分公司来说仍然存在不低的门槛 。 如同互联网的崛起 , AI转化为基础生产力的过程也需要诸多开发工具 。 所以 , 为地平线AI芯片落地 , “让AI开发无难事” , 是“天工开物”AI开发平台的目标 , 即:让AI开发门槛和难度更低 , 为合作伙伴节省更多的时间和人力成本 , 也让越来越多的企业和开发者参与到人工智能开发中来 , 打造良好的生态基础平台 。
打破开发门槛,地平线“天工开物”让AI开发无难事
文章图片
致力于让AI开发无难事”的地平线“天工开物”AI开发平台
基于以上理念 , 地平线每天都在努力去降低方案被集成的难度 。 从工具链到完整AI开发平台 , 地平线正在身体力行的开放自己的能力与开发者共享 。 以自研芯片为发力点 , 我们今天的分享主角——地平线“天工开物”AI开发平台的功能模块正日趋完善 , 包括模型仓库(ModelZoo)、AI芯片工具链(AIToolchain)及AI应用开发中间件(AIExpress)在内的三大功能模块将极大提升合作伙伴的开发速度 , 保证开发质量 。
打破开发门槛,地平线“天工开物”让AI开发无难事
文章图片
学习成本下降 , 让产品上市时间缩短90%
以本次升级新增的ModelZoo模型为例 , 地平线通过开放产品、基础和参考三种类别的算法 , 可充分响应不同合作伙伴的需求——
通过产品算法 , 合作伙伴实现了即拿即用 , 不需要做任何开发和训练 , 就可以将地平线已“打包”的人脸、人体、非机动车和机动车相关算法投入使用;
【打破开发门槛,地平线“天工开物”让AI开发无难事】通过基础算法 , 合作伙伴拿到算法之后就可以自己复现地平线在经典网络上训练出的业界领先(state-of-the-art)结果 , 可以快速验证BPU的实际性能 , 也可以用来熟悉AI芯片工具链 , 使应用芯片的学习时间下降50%;
通过参考算法 , 合作伙伴得以为实际产品嫁接领先的算法整体解决方案 , 用自己的数据进行训练 , 从而最大化的提升精度 , 并快速建立自己的护城河 。
通过产品算法 , 合作伙伴实现了即拿即用 , 不需要做任何开发和训练 , 就可以将地平线已“打包”的人脸、人体、非机动车和机动车相关算法投入使用;
通过基础算法 , 合作伙伴拿到算法之后就可以自己复现地平线在经典网络上训练出的业界领先(state-of-the-art)结果 , 可以快速验证BPU的实际性能 , 也可以用来熟悉AI芯片工具链 , 使应用芯片的学习时间下降50%;
通过参考算法 , 合作伙伴得以为实际产品嫁接领先的算法整体解决方案 , 用自己的数据进行训练 , 从而最大化的提升精度 , 并快速建立自己的护城河 。
打破开发门槛,地平线“天工开物”让AI开发无难事
文章图片
“天工开物”ModelZoo功能模块包含的算法类别
以上这一切 , 都将推动合作伙伴探索自身在数据和算法方面的独特价值 , 形成自己的竞争壁垒与护城河 。 实践表明 , 在ModelZoo的助力下 , 合作伙伴新产品上市时间可缩短60% , 而通过与AI应用开发中间件(AIExpress)的结合 , 合作伙伴最高可节省90%的产品开发周期 。
打破开发门槛,地平线“天工开物”让AI开发无难事
文章图片
新亮点——人人都关注的浮点转定点方案
此外 , 升级后的AI芯片工具链也获得了大幅优化 。 通过打通业界最流行的深度学习训练框架和地平线的AI芯片 , 可以让合作伙伴在芯片上实现当前流行训练框架的无缝衔接应用 。
通常一个嵌入式系统的AI算法开发主要包括训练、转换、部署三个步骤 。 同时 , 为了增加边缘AI芯片的能效比、性价比 , 边缘AI芯片的神经网络加速模块通常只支持整数运算 , 不支持浮点运算 , 所以 , 把浮点模型转换为定点模型就成为AI落地的关键环节 。 为了加速这一过程 , 地平线芯片工具链提供了两种量化方案:一是训练阶段的量化 , 适用于对精度要求非常高 , 开发能力强的客户;二是转换阶段的量化 , 即通过地平线提供的浮点转定点工具 , 将完成训练的浮点模型转化为定点模型直接通过预测库在芯片上加载并运行预测 。 前者的优点是精度高 , 可以利用地平线在算法方面的经验积累 , 且出现量化精度损失后合作伙伴可以自主调试;后者的优势是易于实施、大大降低了开发门槛 , 支持更多Operator、更多网络结构 , 支持客户自定义Operator 。 在实际开发过程中 , 前者支持TensorFlow和MXNET , 后者目前支持Caffe , 并预计于2020年底前实现对Pytorch、ONNX和Tensorflow的支持 。
打破开发门槛,地平线“天工开物”让AI开发无难事
文章图片
“天工开物”新亮点——浮点转定点方案
浮点转定点方案大大降低了使用门槛 , 是地平线AI芯片“兼顾灵活”的原则的重要体现之一 。 作为“天工开物”升级后的一大亮点 , 浮点转定点方案的最大优势便在于无需重新训练模型带来的易实施性和灵活性 , 无论是合作伙伴之前训练的模型还是网上下载的公开模型 , 均可通过该方案 , 快速转换为可在地平线AI芯片上运行的模型格式 , 通过调用地平线BPU实现数据处理 。
在开放性上 , 地平线对外开放程度 , 与对内部算法团队开放程度完全一致 , 充分确保灵活性和可编程性满足合作伙伴算法工程师的使用需求 。 搭配AI应用开发中间件(AIExpress) , 合作伙伴可以定制自己的场景 , 灵活组合产品算法并高效投入应用 , 让整个算法和策略像搭积木一样的容易 。
打破开发门槛,地平线“天工开物”让AI开发无难事
文章图片
“天工开物”加持 , 释放BPU极致效能
通过AI芯片工具链的编译器自动优化 , 合作伙伴可实现成倍的提升性能 。 在MobileNet-v2在ImageNet上的分类任务中 , 在编译器优化前的双核FPS是400多 , 优化后则可达带800多 , 这样的吞吐量变化意味着帧率提升一倍的同时延时降低了一半 , 同时 , 我们也看到 , 优化后BPU的利用率提升了一倍 , 而DDR带宽则降低了60% , 而这一过程完全是自动优化的 。
软硬结合 , 协同优化 , 是地平线AI芯片“首重效能”的原则的重要体现之一 。 与同等算力的竞品相比较 , 通过编译器和BPU芯片架构的协同优化 , 地平线AI芯片在新的网络结构上无论是性能和功耗都有出色的表现 。 在分类任务上实测结果显示 , 地平线AI芯片在新Backbones上可保持更好的帧率 , 且大幅度高出于同类产品 。 特别是2018年的ModelleNetV2、和2019年的VarGNet上的帧率 , 地平线AI芯片表现突出 。
在“首重效能 , 兼顾灵活”的原则下 , 地平线“天工开物”不仅在评测中展示了BPU的超强性能 , 更重要的是已在合作伙伴合作中发挥效用——
打破开发门槛,地平线“天工开物”让AI开发无难事
文章图片
“天工开物”的应用实践案例
案例一:在与韩国通信运营商SK电讯的合作中 , 地平线通过“天工开物”提供的参考算法和开放灵活的AI芯片工具链 , SK电讯开发AI算法 , 解决了道路前方坑洞检测问题、车辆靠边时对行人和其他车辆的检测 , 和地平线提供的ADAS算法、环境感知算法 , 一起运行在地平线的征程二代芯片上 。 这对SK电讯提升竞争力和加快方案部署起到了至关重要的作用 。
案例二:在与某知名智能摄像机厂商合作时 , 该厂商认为算法是核心竞争力 , 希望避免“黑匣子”问题自己掌握算法 。 地平线通过提供给参考算法助力其实现了自身对人体骨骼、人脸检测等任务需求 , 同时合作伙伴也借助AIExpress实现了工程软件框架 , 将多个算法串接为整体解决方案 , 从而快速达到了量产要求 。
案例三:在与国内激光雷达领先企业速腾聚创合作过程中 , 地平线通过提供基础算法和工具链 , 使其得以快速了解地平线AI芯片 。 在此基础上 , 禾塞将自己的原有算法通过“天工开物”快速实现了芯片端的移植 , 其方案效果也在2020CES上得到展示 。
案例一:在与韩国通信运营商SK电讯的合作中 , 地平线通过“天工开物”提供的参考算法和开放灵活的AI芯片工具链 , SK电讯开发AI算法 , 解决了道路前方坑洞检测问题、车辆靠边时对行人和其他车辆的检测 , 和地平线提供的ADAS算法、环境感知算法 , 一起运行在地平线的征程二代芯片上 。 这对SK电讯提升竞争力和加快方案部署起到了至关重要的作用 。
案例二:在与某知名智能摄像机厂商合作时 , 该厂商认为算法是核心竞争力 , 希望避免“黑匣子”问题自己掌握算法 。 地平线通过提供给参考算法助力其实现了自身对人体骨骼、人脸检测等任务需求 , 同时合作伙伴也借助AIExpress实现了工程软件框架 , 将多个算法串接为整体解决方案 , 从而快速达到了量产要求 。
案例三:在与国内激光雷达领先企业速腾聚创合作过程中 , 地平线通过提供基础算法和工具链 , 使其得以快速了解地平线AI芯片 。 在此基础上 , 禾塞将自己的原有算法通过“天工开物”快速实现了芯片端的移植 , 其方案效果也在2020CES上得到展示 。
通过三个案例的分享 , 相信足以展示地平线的“天工开物”最大特点 , 即基于软硬结合、协同优化达到的AI芯片“极致效能” 。 而在效能之外 , 地平线基于赋能战略和算法积累的全方位“开放”和基于内部和外部项目打磨积累的“成熟”经验 , 也正让合作伙伴真正受益于AI带来的智能化变革 。
AI时代 , 地平线以「芯」力量为产业赋能
近年来 , 人工智能市场持续高速增长 , 底层技术和落地应用持续突破 。 而在AI芯片领域拥有先发优势的地平线 , 无论是在产品技术还是商业运营上都取得了斐然于行业的成绩 。 目前 , 地平线在ADAS、自动驾驶、高精地图等智能驾驶领域已赋能一大批行业顶级Tier1、OEM、通讯运营商 , 包括、红旗、、、、、等多个顶尖企业在内的合作伙伴正与地平线携手加速智能驾驶时代的到来 。 此外 , 地平线在泛AIoT领域的商业探索也取得了领先的成就 。
以全新一代“天工开物”AI开发平台为节点 , 地平线将在开放赋能的道路上愈走愈远 。 未来 , 地平线将继续打磨“算法+芯片+开发工具”的基础技术平台 , 持续输出为产业赋能的边缘AI芯力量 , 让数字经济时代的“水电煤”充分涌动 。


    推荐阅读