江苏龙网

  1. 首页 > 资讯 > 科技 > >

|近期必读 ICLR 2021 模型压缩&预训练相关论文


本文推荐几篇近期必读的 ICLR 2021 模型压缩&预训练相关的7篇论文 。
1 模型压缩
1、《Task-Agnostic and Adaptive-Size BERT Compression》
本文的目标是通过压缩可以得到模型对不同大小和延迟的限制下的小模型；另外压缩后的模型是任务不可知（task agnostic）即对所有的下游任务都是通用的 。
为了实现这个目标 ， 本文使用的方法是基于NAS架构搜索的方法 ， 由于待搜索的空间非常大 ， 对于预训练任务难度较大 ， 本文提供了3种策略来优化 。
|近期必读 ICLR 2021 模型压缩&预训练相关论文
本文插图

论文链接: https://openreview.net/forum?id=wZ4yWvQ_g2y&noteId=wZ4yWvQ_g2y
2、《Data-Aware Low-Rank Compression for Large NLP Models》
本文的目标是对BERT模型中最为占用时间部分 ， 即矩阵乘法进行优化 。 基于一个观察 ， 权重矩阵本身并不是低秩矩阵 ， 但是每一层的表示（输出）却是处于低维空间 。 基于这个观察本文提出了DRONE方法 ， 通过最小化表示输出的误差而不是单纯的权重矩阵的误差 ， 来对权重矩阵进行分解 。
|近期必读 ICLR 2021 模型压缩&预训练相关论文
本文插图

论文链接：https://openreview.net/forum?id=_sSHg203jSu
3、《Speeding up Deep Learning Training by Sharing Weights and then Unsharing》
本文的目标是解决深度模型中提升模型深度带来的计算复杂度提高的问题 ， 主要针对模型中存在多个重复结构的情况 ， 本文中则是以BERT中的transformer结构为例 。 本文采用的方法是首先共享所有重复结构的权重 ， 然后达到一定条件下解除共享 。
|近期必读 ICLR 2021 模型压缩&预训练相关论文
本文插图

论文链接：https://openreview.net/forum?id=jz7tDvX6XYR
4、《Dact-BERT: Increasing the Efficiency and Interpretability of BERT by Using Adaptive Computation Time》
本文的目标是缩短大模型的预测阶段的耗时 。 本文以BERT为基础 ， 在BERT模型中加了一个DACT结构 ， 最终学习出来在预测节点所需要的模型深度（numbert of transformers blocks） 。
DACT结构原本是用于在视觉推理任务中 ， 目标是来选择一个合适的推理的中间steps 。 本文将DACT结构融入BERT的transformer block中间 ， 直接学习什么时候就可以达到预测的标准 ， 那么在预测阶段只需要这部分子结构就可以完成预测的任务 。
|近期必读 ICLR 2021 模型压缩&预训练相关论文
本文插图

论文链接：https://openreview.net/forum?id=wKfXaxPist
2预训练
1、《DeBERTa: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION》
本文对现有的BERT模型做了改进 。 一组词的 Attention 不光取决于内容 ， 还和它们的相对位置有关（比如 deep learning 挨在一起时的依赖关系比不在一起时要强） 。 解决预训练和精调的不匹配问题（精调时没有 MASK） 。
文中提出了两类策略 ， Disentangled Attention：增加计算 “位置-内容” 和 “内容-位置” 注意力 。 Enhanced Mask Decoder：用 EMD 来代替原 BERT 的 SoftMax 层预测遮盖的 Token 。
|近期必读 ICLR 2021 模型压缩&预训练相关论文
本文插图

论文链接：https://openreview.net/forum?id=XPZIaotutsD
2、《SCoRe: Pre-Training for Context Representation in Conversational Semantic Parsing》
为了将自然语言对话转为成形式化语言 ， CSP系统需要在描述对话的多回合动态变化的同时 ， 对非结构化语言和结构化本体之间的关系进行建模 。 本文提出了一种新的用于CSP任务的训练方法 ， 旨在获得表示以捕捉对话流与结构化上下文的一致性 。


推荐阅读


上一篇：|苹果发布搭载M1芯片的MacBook Pro，性能“吊打”上代，续航长达20小时

下一篇：|万亿AIoT市场，涂鸦想成为「造风者」