江苏龙网

  1. 首页 > 人文 > >

「人工智能」「业内热点」清华大学发布基于元算子和动态编译的深度学习框架- Jittor


深度学习技术正广泛应用于人工智能的各个领域 ， 如计算机视觉、机器翻译、自然语言处理、智能机器人等 ， 取得了前所未有的突破 。 当前 ， 一方面 ， 随着深度学习新技术的出现、任务复杂度的提高 ， 易于扩展同时保持高效的架构成为发展趋势；另一方面 ， 我国人工智能产业发展迅速 ， 急需构建自己的开源深度学习生态 。
「人工智能」「业内热点」清华大学发布基于元算子和动态编译的深度学习框架- Jittor
本文插图
清华大学计算机系胡事民教授研究团队提出了一个全新的深度学习框架——计图（Jittor） 。 Jittor是一个采用元算子表达神经网络计算单元、完全基于动态编译（Just-in-Time）的深度学习框架 。
「人工智能」「业内热点」清华大学发布基于元算子和动态编译的深度学习框架- Jittor
本文插图
【「人工智能」「业内热点」清华大学发布基于元算子和动态编译的深度学习框架- Jittor】
图1 “计图”通过元算子融合实现深度神经网络模型
深度学习采用的卷积神经网络是由算子（Operator）组成的一个计算网络 。 由于架构设计和不断扩充等原因 ， 当前深度学习框架有多达2000种算子 ， 系统复杂 ， 优化和移植困难 。 Jittor则将算子运算进一步分解 ， 形成了更加底层的三类20余种元算子闭包 ， 目前神经网络常用算子均可以使用元算子的组合进行表达 。 面向未来深度学习框架的发展趋势 ， Jittor利用元算子组合表达的优势 ， 提出统一计算图进行优化 ， 并从底层开始设计了一个全新的动态编译架构 。 该架构支持多种编译器 ， 实现了所有代码的即时编译和动态运行 ， 确保了实现和优化分离 ， 大幅提升了应用开发灵活性、可拓展性和可移植性 。
「人工智能」「业内热点」清华大学发布基于元算子和动态编译的深度学习框架- Jittor
本文插图
图2 “计图”与其他平台的计算图特性对比
Jittor与国际主流平台相比 ， 具有多项先进特性（图2） 。 目前ResNet、VGG、SSD、DeepLab、LSGAN等多个网络模型已经在Jittor平台实现 ， 可供用户使用 。 与同类型框架相比 ， Jittor在收敛精度一致情况下 ， 推理速度取得了10%-50%的性能提升（图3） 。
「人工智能」「业内热点」清华大学发布基于元算子和动态编译的深度学习框架- Jittor
本文插图
图3 Jittor和PyTorch推理与训练速度对比
Jittor的研发得到了国家自然科学基金创新群体项目、北京信息科学与技术国家研究中心团队项目和清华-腾讯联合实验室项目的资助 。 期望Jittor能为学界和业界提供一个灵活高效的深度学习平台 ， 促进人工智能的研究和应用 ， 赋能人工智能产业 。
声明： 本公众号致力于好文推送（欢迎投稿） ， 版权归属原作者所有！分享只为传递更多信息 ， 并不代表本本公众号赞同其观点 。 如涉及作品内容、版权和其他问题 ， 请及时通过电子邮件或电话通知我们 ， 以便迅速采取适当措施 ， 避免给双方造成不必要的经济损失 。 联系电话：010-82306116；邮箱：aet@chinaaet.com 。


    推荐阅读


    上一篇：InfoQ■“面试造火箭，工作拧螺丝”，真的是这样么？ | 极客大学

    下一篇：「传染病」疫情下直播流量陡增，实时音视频技术如何应对？ | 爱分析访谈