江苏龙网

  1. 首页 > 资讯 > 科技 > >

|谷歌新模型突破BERT局限：NLP版「芝麻街」新成员Big Bird长这样( 二 )


本文插图

与此同时 ， Big Bird在NLP的摘要任务中表现也比较亮眼 。
摘要 ， 顾名思义是从一段长文字中提炼出这段话的核心思想和意义 。 下面是从三个长文章数据集Arxiv、PubMed和BigPatent中测试的效果 。
|谷歌新模型突破BERT局限：NLP版「芝麻街」新成员Big Bird长这样
本文插图

从图中来看 ， 与其他非常先进的NLP模型相比 ， BigBird极大地提高了摘要任务的各项精度 ， 性能表现非常优异 。
不仅如此 ， Big Bird被证明是图灵完备的 ， 这也就意味着 ， 一切可以计算的问题 ， Big Bird都能计算 ， 理论上 ， 它能够用来解决任何算法 。
此外 ， Big Bird在基因组数据处理方面也极具潜力 。
但虽然如此 ， 也有网友认为 ， 这样的模型与Longformer在概念上并无本质区别 ， 不能算是一个大突破 。
|谷歌新模型突破BERT局限：NLP版「芝麻街」新成员Big Bird长这样
本文插图

你怎么看？
作者介绍
论文的两位共同一作是Manzil Zaheer和Guru Guruganesh ， 均来自谷歌 。
|谷歌新模型突破BERT局限：NLP版「芝麻街」新成员Big Bird长这样
本文插图

△ Manzil Zaheer
Manzil Zaheer ， CMU机器学习博士 ， 3篇论文曾经发表于NIPs上 ， 除此之外 ， 在ACL和EMNLP等顶会上也发表过相应文章 。
|谷歌新模型突破BERT局限：NLP版「芝麻街」新成员Big Bird长这样
本文插图

△ Guru Guruganesh
Guru Guruganesh ， CMU机器学习博士 ， 主要在近似算法、拉姆齐定理、半正定规划等方向有所研究 。
传送门
「芝麻街」系列论文列表：
ELMo:https://arxiv.org/abs/1802.05365
BERT:https://arxiv.org/abs/1810.04805
ERNIE:https://arxiv.org/abs/1904.09223
Grover:https://arxiv.org/abs/1905.12616
KERMIT:https://arxiv.org/abs/1906.01604
Big Bird:https://arxiv.org/abs/2007.14062
— 完 —
量子位 QbitAI · ***签约
关注我们 ， 第一时间获知前沿科技动态


推荐阅读


上一篇：新机发布|雷蛇发布旋风黑鲨游戏耳机；iPhone 12 Pro最新渲染图曝光

下一篇：|单品价格驱动旧时代结束！一个用户生态主导的家电新时代来了