江苏龙网

  1. 首页 > 人文 > >

突破全注意力机制的局限，NLP版，芝麻街，新产品和新应用，Bird模型( 二 )


文章图片
与此同时 ， Big Bird在NLP的 摘要任务中表现也比较亮眼 。
摘要 ， 顾名思义是从一段长文字中提炼出这段话的核心思想和意义 。 下面是从三个长文章数据集Arxiv、PubMed和BigPatent中的效果 。
突破全注意力机制的局限，NLP版，芝麻街，新产品和新应用，Bird模型
文章图片
从图中来看 ， 与其他非常先进的NLP模型相比 ， BigBird极大地提高了摘要任务的各项精度 ， 性能表现非常优异 。
不仅如此 ， Big Bird被证明是 图灵完备的 ， 这也就意味着 ， 一切可以计算的问题 ， Big Bird都能计算 ， 理论上 ， 它能够用来解决任何算法 。
此外 ， Big Bird在基因组数据处理方面也极具潜力 。
但虽然如此 ， 也有网友认为 ， 这样的模型与Longformer在概念上并无本质区别 ， 不能算是一个大突破 。
突破全注意力机制的局限，NLP版，芝麻街，新产品和新应用，Bird模型
文章图片
你怎么看？
论文的两位共同一作是Manzil Zaheer和Guru Guruganesh ， 均来自谷歌 。
突破全注意力机制的局限，NLP版，芝麻街，新产品和新应用，Bird模型
文章图片
△Manzil Zaheer
Manzil Zaheer ， CMU机器学习博士 ， 3篇论文曾经发表于NIPs上 ， 除此之外 ， 在ACL和EMNLP等顶会上也发表过相应文章 。
突破全注意力机制的局限，NLP版，芝麻街，新产品和新应用，Bird模型
文章图片
△Guru Guruganesh
Guru Guruganesh ， CMU机器学习博士 ， 主要在近似算法、拉姆齐定理、半正定规划等方向有所研究 。
传送门
完—
每天5分钟 ， 抓住行业发展机遇
每个工作日 ， 量子位AI内参精选全球科技和研究最新动态 ， 汇总新技术、新产品和新应用 ， 梳理当日最热行业趋势和政策 ， 搜索有价值的论文、教程、研究等 。
加入AI社群 ， 与优秀的人交流
?“?” ? 追踪AI技术和产品新动态
本文相关词条概念解析：
【突破全注意力机制的局限，NLP版，芝麻街，新产品和新应用，Bird模型】注意力
【突破全注意力机制的局限，NLP版，芝麻街，新产品和新应用，Bird模型】注意力是指人的心理活动指向和集中于某种事物的能力 ， 俄罗斯教育家乌申斯基曾精辟地指出“注意是心灵的惟一门户 ， 意识中的一切 ， 必然都要经过它才能进来 。 ”注意力是人意识的具体表现 ， 是把自己的感知和思维等心理活动指向和集中于某一事物的能力 。 注意力是记忆力的基础 ， 记忆力是注意力的结果 。 注意的广度、注意的稳定性、注意的分配和注意的转移 ， 是衡量一个人注意力好坏的标志 。


推荐阅读


上一篇：京郊水边景区游客多 工作人员呼吁戏水加强安全意识

下一篇：情感|母亲要5万彩礼, 男友说: “你这么远嫁过来, 5万太少了, 8万吧”