「」Google AI研发出更有效NLP预训练方法
中文科讯网消息：Google AI发博表示 ， 在其新论文《ELECTRA：将文本编码器作为标识符而不是生成器进行预训练》中 ， 研究人员采用了另一种方法进行语言预训练 ， 该方法保持了BERT的优点 ， 但学习效率更高 。ELECTRA是一种新的预训练方法 ， 比如 ， ELECTRA使用仅四分之一的算力就可以在GLUE自然语言理解基准上达到RoBERTa和XLNet的性能 ， 并在SQuAD问答基准上获得最优的结果 。ELECTRA出色的效率意味着即使在小规模的情况下也能很好地运行 。ELECTRA已作为TensorFlow之上的开源模型发布 ， 其中包括许多易于使用的预训练语言表示模型 。
文章图片
文章图片
【「」Google AI研发出更有效NLP预训练方法】本文Tags： Google AI
推荐阅读
- 「IT之家」对标Apple Card：谷歌拟推Google Card借记卡
- [魅族]魅族 17 发布会邀请函于 4 月 22 日发出，发布日将揭晓
- 『谷歌』外泄谍照显示谷歌拟推Google Card借记卡
- 『C114中国通信网』苹果iPhone SE 2等机型可通过eSIM激活Google Fi服务
- 『』苹果iPhone SE 2等机型可通过eSIM激活Google Fi服务
- 『Google Play』一直说的订阅政策更新来了 6月16日是最后期限
- 『谷歌』Google Pixel 4系列手机即日起支持双卡双待
- 「跳槽那些事儿」中微公司已开发出5纳米芯片？没影子的事
- 『sanrenxing2016』答疑支招篇：中小企业该如何对品牌进行有效定位 ？
- 「Google」为缓解宽带压力！谷歌将降低Nest相机的质量，但用户却不买账