|近期必读 ICLR 2021 模型压缩&预训练相关论文( 二 )
本文插图
论文链接：https://openreview.net/forum?id=5ip8nV7F4Qn
3、《K-PLUG: KNOWLEDGE-INJECTED PRE-TRAINED LANGUAGE MODEL FOR NATURAL LANGUAGE UNDERSTANDING AND GENERATION》
虽然PLM已经在众多NLP任务中证明了有效性 ， 但他们中的大多数并没有明确地学习特定领域的知识 。
在本文中 ， 我们提出了K-PLUG ， 一种基于编解码转换器的知识注入的预训练语言模型 ， 它既适用于自然语言理解任务 ， 也适用于生成任务 。
具体来说 ， 我们提出了五个具有知识意识的自我监督的预训练目标 ， 以实现特定领域的知识学习 。
本文插图
【|近期必读 ICLR 2021 模型压缩&预训练相关论文】论文链接：https://openreview.net/forum?id=5WcLI0e3cAY
推荐阅读
- 灵魂橡胶|AKG蓝牙耳机大盘点，近期好价多多，大家不要错过！AKG N200蓝牙耳机AKG Y500贴耳式蓝牙耳机AKG N200NC主动降噪颈挂蓝牙耳机AKG N30 HIFI参考级耳机
- |在金钱有限的情况下，如何花钱才能获得最多的快乐？｜打工人必读
- PChome电脑之家|华为台式机或于近期亮相 搭载鲲鹏920处理器AMD显卡
- 解题|题拍拍签约100名清华北大解题官
- 中关村在线|网红大V教你薅5G的羊毛 让4G套餐享受5G速率
- 打车|哈啰出行推网约车业务 近期开启试运营
- 科学|华中农大近期科学研究进展
- 机身|iPhone 12为什么便宜了，续航差的太远了
- iQOO手机,微信|触及“冰点价”，近期想要换手机？这4款值得考虑
- 万州微视界|近期很火的“云电脑”是什么？它会取代我们的个人电脑吗？