江苏龙网

  1. 首页 > 资讯 > 科技 > >

|阿里云开源业界首个面向NLP场景深度迁移学习框架( 五 )


元知识蒸馏 Meta-Knowledge Distillation
随着 BERT 等预训练语言模型在各项任务上都取得了 SOTA 效果 ， BERT 这类模型已经成为 NLP 深度迁移学习管道中的重要组成部分 。 但 BERT 并不是完美无瑕的 ， 这类模型仍然存在以下两个问题：模型参数量太大和训练 / 推理速度慢的问题 ， 因此一个方向是将 BERT 知识蒸馏到一个小模型 。 但是大部分的知识蒸馏工作都聚焦在同一个领域 ， 而忽略了跨领域对蒸馏任务提升的问题 。 我们提出了用 Meta Learning 的方式将跨领域的可迁移知识学出 ， 在蒸馏阶段额外对可迁移的知识进行蒸馏 。 这样的做法使得学习到的 Student 模型在相应的领域的效果显著提升 ， 我们在多个跨领域的任务上都蒸馏出了较好的学生模型 ， 逼近教师模型的效果 。 我们近期会梳理这个工作 ， 发布代码和文章 。
创新文章列表
EasyTransfer 框架已在阿里集团内数十个 NLP 场景落地 ， 包括智能客服、搜索推荐、安全风控、大文娱等 ， 带来了显著业务效果的提升 。 目前 EasyTransfer 日常服务有上亿次调用 ， 月均训练调用量超过 5 万次 。 EasyTransfer 团队在落地业务的同时也沉淀了很多的创新的算法解决方案 ， 包括元学习 ， 多模态预训练 ， 强化迁移学习 ， 特征迁移学习等方向的工作 ， 共合作发表了几十篇顶级会议文章 ， 下面列举一些代表性工作 。 后续这些算法都会在 EasyTransfer 框架里开源供广大用户使用 。
[EMNLP 2020]. Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining. EMNLP 2020. Full Paper.
[SIGIR 2020] FashionBERT: Text and Image Matching for Fashion Domain with Adaptive Loss.
[ACM MM 2020] One-shot Learning for Text Field Labeling in Structure Information Extraction. To appear, Full Oral paper.
[IJCAI 2020] AdaBERT: Task-Adaptive BERT Compression with Differentiable Neural Architecture Search, IJCAI 2020.
[KDD 2019] A Minimax Game for Instance based Selective Transfer Learning. Oral, KDD 2019.
[CIKM 2019] Cross-domain Attention Network with Wasserstein Regularizers for E-commerce Search, CIKM 2019.
[WWW 2019] Multi-Domain Gated CNN for Review Helpfulness Prediction, WWW.
[SIGIR 2019]. BERT with History Modeling for Conversational Question Answering. SIGIR 2019.
[WSDM 2019]. Learning to Selectively Transfer: Reinforced Transfer Learning for Deep Text Matching. WSDM 2019, Full Paper.
[ACL 2018]. Transfer Learning for Context-Aware Question Matching in Information-seeking Conversation Systems in E-commerce. ACL. 2018.
[SIGIR 2018]. Response Ranking with Deep Matching Networks and External Knowledge in Information-seeking Conversation Systems. Long Paper.
[WSDM 2018]. Modelling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce, 2018. Long Paper.
[CIKM 2017]. AliMe Assist: An Intelligent Assistant for Creating an Innovative E-commerce Experience, CIKM 2017, Demo Paper, Best Demo Award.
[ICDM 2017]. A Short-Term Rainfall Prediction Model using Multi-Task Convolutional Neural Networks. Long paper, ICDM 2017.
[ACL 2017]. AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine ， ACL 2017.
【|阿里云开源业界首个面向NLP场景深度迁移学习框架】[arXiv]. KEML: A Knowledge-Enriched Meta-Learning Framework for Lexical Relation Classification ， arXiv.


推荐阅读


上一篇：|微软云上太空计划：马斯克SpaceX星链加持，云服务遍布全球

下一篇：中年|5G发牌一周年之际 贵州移动跑出5G“加速度”