江苏龙网

  1. 首页 > 人文 > >

阿里云开源业界首个面向NLP场景深度迁移学习框架( 二 )


自动知识蒸馏工具：支持知识蒸馏 ， 可以从大的 teacher 模型蒸馏到小的 student 模型 。 集成了任务有感知的 BERT 模型压缩 AdaBERT ， 采用了神经网路架构搜索去搜索出任务相关的架构去压缩原始的 BERT 模型 ， 可以压缩最多到原来的 1/17 ， inference 最多提升 29 倍 ， 且模型效果损失在 3% 以内；
兼容 PAI 生态产品：框架基于 PAI-TF 开发 ， 用户通过简单的代码或配置文件修改 ， 就可以使用 PAI 自研高效的分布式训练 ， 编译优化等特性；同时框架完美兼容 PAI 生态的产品 ， 包括 PAI Web 组件（PAI Studio） ， 开发平台（PAI DSW） ， 和 PAI Serving 平台（PAI EAS） 。
平台架构总览
EasyTransfer 的整体框架如下图所示 ， 在设计上尽可能的简化了深度迁移学习的算法开发难度 。 框架抽象了常用的 IO ， layers ， losses ， optimizers, models ， 用户可以基于这些接口开发模型 ， 也可以直接接入预训练模型库 ModelZoo 快速建模 。 框架支持五种迁移学习 (TL) 范式 ， model finetuning ， feature-based TL, instance-based TL, model-based TL 和 meta learning 。 同时 ， 框架集成了 AppZoo ， 支持主流的 NLP 应用 ， 方便用户搭建常用的 NLP 算法应用 。 最后 ， 框架无缝兼容 PAI 生态的产品 ， 给用户从训练到部署带来一站式的体验 。
阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图
平台功能详解
下面详细介绍下 EasyTransfer 框架的核心功能 。
简单易用的 API 接口设计
阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图
高性能分布式框架
EasyTransfer 框架支持工业级的分布式应用场景 ， 改善了分布式优化器 ， 配合自动混合精度 ， 编译优化 ， 和高效的分布式数据 / 模型并行策略 ， 做到比社区版的多机多卡分布式训练在运算速度上快 4 倍多 。
阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图
丰富的 ModelZoo
框架提供了一套预训练语言模型的工具供用户自定义自己的预训练模型 ， 同时提供了预训练语言模型库 ModelZoo 供用户直接调用 。 目前支持了 20 + 预训练模型 ， 其中在 PAI 平台上预训练的 PAI-ALBERT-zh 取得中文 CLUE 榜单第一名 ， PAI-ALBERT-en-large 取得英文 SuperGLUE 第二名的好成绩 。 下面是详细的预训练模型列表：
阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图
预训练模型在 CLUE 榜单的效果：
阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图
SuperGLUE 的效果：
阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图
丰富的 AppZoo
EasyTransfer 封装了高度易用、灵活且学习成本低的 AppZoo ， 支持用户在仅用几行命令的条件下 “大规模” 运行 “前沿” 的开源与自研算法 ， 即可迅速接入不同场景和业务数据下的 NLP 应用 ， 包括文本向量化、匹配、分类、阅读理解和序列标注等 。
阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图
高效的迁移学习算法
EasyTransfer 框架支持所有主流的迁移学习范式 ， 包括 Model Fine-tuning, Feature-based TL, Instance-based TL, Model-based TL 和 Meta Learning 。 基于这些迁移学习范式开发了 10 多种算法 ， 在阿里的业务实践中取得了良好效果的效果 。 后续所有的算法都会开源到 EasyTransfer 代码库里 。 在具体应用的时候 ， 用户可以根据下图来选择一种迁移学习范式来测试效果 。


推荐阅读


上一篇：微软云上太空计划：马斯克SpaceX星链加持，云服务遍布全球

下一篇：中年5G发牌一周年之际 贵州移动跑出5G“加速度”