江苏龙网

  1. 首页 > 人文 > >

|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么


鱼羊 发自 凹非寺量子位 报道 | 公众号 QbitAI
最近 ， GPT-3真是风头一时无两 ， 不仅延续了前代编故事的能力 ， 还能写代码、答问题、下象棋……
但现在 ， 有人指出：
GPT更像是一个即兴演员 ， 只是在表演 。
因为 ， GPT-3其实根本不知道自己在说什么 。
就像是扮演医生的即兴演员 ， 难道还能真的给出靠谱的医疗建议吗？
一起来看看 ， 到底是怎么回事 。
马库斯：GPT-3令人印象深刻 ， 但不可靠
GPT-3的火爆 ， 自然引来了纽约大学教授、「著名AI批评家」马库斯的注意 。
|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么
本文插图

许多人认为 ， GPT-3的诞生是迈向通用人工智能（AGI）的重要一步 。
但马库斯对此深表怀疑：
虽然GPT-3在语法上 ， 能够输出令人印象深刻的地道用语 ， 但它对世界的理解往往存在严重偏差 ， 这意味着你永远无法真正相信它所说的话 。
为了证明这一点 ， 马库斯和纽约大学计算机科学教授欧内斯特·戴维斯（Ernest Davis）对GPT-3进行了测试 。
比如 ， 他们给GPT-3输入了这样的提示词：
你给自己倒了一杯蔓越莓果汁 ， 然后你又心不在焉地往里面加了一茶匙葡萄汁 。 它看上去很正常 。 你试着闻了闻它 ， 但是由于你得了重感冒 ， 你并闻不出任何气味 。 你现在非常渴 ， 所以……
GPT-3续道：
所以你把这杯混合果汁喝了下去 。
你现在挂掉了 。
|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么
本文插图

这样的答案确实有些无厘头 ， GPT-3似乎认为葡萄汁是有毒的 。 但实际上随便上网搜一搜都会发现 ， 蔓越莓-葡萄汁是常见搭配 。
生物化学学得不好 ， 物理推理方面 ， GPT-3又会表现如何？
马库斯问：
你正要举行小型晚宴 。 你打算在客厅里享用晚餐 。 但饭桌比客厅门要宽 ， 所以想要把它挪进屋 ， 你得……
GPT-3答：
你得把门移走 。 你有一把台锯 ， 所以你把门切成了两半 ， 并把上半部分拆了下来 。
马库斯表示 ， 这简直就是迷惑发言 。 别说正常的处理方式是把桌子斜过来挪进去 ， 或者把桌腿拆下来 ， 就说说「台锯」 ， 那玩意儿是固定在工作台上的 ， 怎么去切割一扇立着的门呢？
|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么
本文插图

科学素养不行 ， 社会人文也拉胯 。
马库斯和他的同事们又给出了这样一个提示：
你是一名辩护律师 ， 今天必须去法庭 。 早上穿衣服的时候 ， 你发现西装裤被弄脏了 。 不过 ， 你的泳衣倒是干净又时髦 。 事实上 ， 它是一件昂贵的法国时装 ， 是伊莎贝拉送给你的生日礼物 。 你决定……
GPT-3接口说：
你决定穿着泳衣出庭 。 你到达法院 ， 一名法警会陪同你进入法庭 。
像这样的几个来回下来 ， 马库斯和他的同事们认为 ， GPT-3在生物学、物理学、心理学和社会关系推理等方面普遍存在不连贯、不合逻辑的问题 。
即使拥有1750亿个参数和450GB输入数据 ， GPT-3也只是能说出更自然流畅的语句 ， 实质上依然是在胡说八道 。
|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么
本文插图

马库斯的另一位同事Douglas Summers-Stay对此评价道：
GPT很古怪 ， 它并不「关心」你向它提出的问题是否被正确回答 。
它更像是一个演员 ， 全神贯注于自己的表演 ， 从不破坏角色 ， 但也只在书本上了解这个世界 。
像这样的演员 ， 当它的知识缺失时 ， 它就开始假装它是专业的 。
就好比一个扮演医生的即兴演员 ， 其给出的医疗建议你是不会相信的 。
【|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么】不过 ， 马库斯和戴维斯也在文章中提到 ， 他们设计这些测试时 ， 明确这些对于当前的NLP技术而言是困难的 。 另外 ， 测试包括一些重复的实验 ， 在157个示例中 ， 有71个是成功的 ， 70个是失败的 ， 16个是有缺陷的 。
网友热议
面对马库斯的开喷 ， 有网友认为 ， 这些批评是公正的 ， 也是很多GPT-3相关文章里都讨论过的事实 。
|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么
本文插图

但也有网友表示 ， 当他询问GPT-3 ， 为什么它明明知道正确答案 ， 却给出了一个错误回答时 ， GPT-3回答：「我学会了说谎 。 」
|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么
本文插图

此外 ， 有网友认为 ， GPT-3从来就没打算生成正确的答案 。 在生成连贯的文字方面 ， 它已经做得非常好了 。 GPT-3的这种进步 ， 显然反映了NLP领域的一种突破 。
|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么
本文插图

还有网友甩出「旧账」：马库斯曾经在一篇文章中提供了一些测试用例 ， 以证明GPT-2方法存在基本局限性 ， 而现在 ， GPT-3「粉碎」了这些问题 。
比如 ， 问：我把两个奖杯放在一张桌子上 ， 然后又增加了另一个 ， 总数是？
GPT-3现在能准确且肯定地回答：3 。
|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么
本文插图

测试路径
不像GPT-2的挤牙膏开源 ， GPT-3「Open」的形式 ， 是以API的方式提供给普通用户使用 。
当然 ， 是收费的 。
不过 ， API现在处于Beta阶段 ， 如果你也想试用一番 ， 填写OpenAI官网问卷 ， 没准就能先睹为快 。
|马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么
本文插图

不过 ， 马库斯也抱怨了 ， 他们申请了好几次 ， OpenAI都没允许他们访问GPT-3 。 最后是Douglas Summers-Stay帮助他们进行了实验 。
OpenAI缺乏开放性 ， 是在严重违反科学道德 ， 也扭曲了「非营利组织」的目标 。
参考链接：https://cs.nyu.edu/faculty/davise/papers/GPT3CompleteTests.htmlhttps://www.technologyreview.com/2020/08/22/1007539/gpt3-openai-language-generator-artificial-intelligence-ai-opinion/https://www.reddit.com/r/MachineLearning/comments/iemck2/n_gpt3_bloviator_openais_language_generator_has/https://news.ycombinator.com/item?id=24244168
— 完 —
量子位 QbitAI · ***签约
关注我们 ， 第一时间获知前沿科技动态


    推荐阅读


    上一篇：容联携手广发银行荣膺“中国最佳生产力、效率和自动化”大奖

    下一篇：石头科技：机构大买1.5亿，后续关注板块发酵是否存在补涨机会