『搜索引擎』速度×6，模型缩小20倍：华为&华科TinyBERT做搜索，性能达BERT90%( 二 )
本文插图
应用知识蒸馏（knowledge distillation ， KD）的方法 ， 大型教师模型BERT中编码的大量知识 ， 能被很好地迁移到小型学生模型TinyBERT中 。
研究人员还提出了一种专门用于TinyBERT的两段式学习框架 ， 分别在预训练阶段和特定任务学习阶段进行transformer蒸馏 。
这样 ， 就能确保TinyBERT可以获取教师模型在通用和特定任务知识上的经验 。
本文插图
在GLUE基准上 ， TinyBERT的性能与BERT相当 ， 仅下降了3个百分点 。
本文插图
并且 ， 模型大小不到不到BERT的1/7 ， 推理速度是BERT的9.4倍 。
本文插图
传送门 博客：https://towardsdatascience.com/tinybert-for-search-10x-faster-and-20x-smaller-than-bert-74cd1b6b5aec
TinyBERT论文：https://arxiv.org/abs/1909.10351
TinyBERT开源地址：https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT
— 完 —
量子位 QbitAI · ***签约
【『搜索引擎』速度×6，模型缩小20倍：华为&华科TinyBERT做搜索，性能达BERT90%】关注我们 ， 第一时间获知前沿科技动态
推荐阅读
- 『财经涂鸦』三七互娱爆发的秘密：该用技术公司估值模型来看它了
- 「军武观察室」该导弹技术来源于意大利，蝮蛇导弹国产版本，速度高达4.5马赫
- 「财经」三七互娱爆发的秘密：该用技术公司估值模型来看它了
- 军武观察室@该导弹技术来源于意大利，蝮蛇导弹国产版本，速度高达4.5马赫
- 【搞笑精选集】脉搏和心跳速度是一样的，我给你搭个脉！，笑话十则：生理学我懂
- 『娱乐小看点点』引爆生命力的红色盛宴！，阿联酋首日游「2」｜速度激情法拉利
- 『千雨手作』浇点这种“水”，生根速度“快一倍”，插1盆活1盆！，扦插生根慢
- 『上观新闻』更有效率，万亿创投基金云路演有“速度”“温度”
- 「直播吧」我很高兴，特朗普谈再次检测阴性：速度非常快
- 【浩汉防务论坛】疫情过后 中国船厂开始加快的军品的建造 展现了中国速度