OpenAI炫富的GPT-3来了:45TB数据,1750亿个参数,还会三位数加减法( 二 )


OpenAI炫富的GPT-3来了:45TB数据,1750亿个参数,还会三位数加减法
本文插图
他还发出了灵魂一问:
有见过人用窜天猴去调试火箭发射井嘛?
复旦邱锡鹏教授则认为 , Pretrain+finetune仍然会是未来几年的主流 。
OpenAI炫富的GPT-3来了:45TB数据,1750亿个参数,还会三位数加减法
本文插图
虽然如此恐怖的计算成本让人有些望而却步 , 但EECVC联合创始人Dmytro Mishkin认为:
按10年前的标准 , ResNet50的计算代价也是令人望而却步的 , 但事实证明它们的存在是必要的 。
OpenAI炫富的GPT-3来了:45TB数据,1750亿个参数,还会三位数加减法
本文插图
也有网友表示:
GPT-3可能还是无法帮助OpenAI盈利 , 也无法直接上线显著造福网民 , 但是从中积累的大模型训练经验是OpenAI及其背后的微软Azure一笔巨大的财富 。 这就像 , 人类登上火星/月球可能并不能带来直接的资源收益 , 但是从中积累的科学技术却可以推动人类社会的发展 。
做NLP , 虽然有了资源不一定行 , 但是没有资源现在肯定是不行了 。
不管怎么说 , 看到这GPU熊熊燃烧的场面 , 想必老黄已经乐开了花 。
OpenAI炫富的GPT-3来了:45TB数据,1750亿个参数,还会三位数加减法
本文插图
目前 , GPT-3尚未开源 , 可以期待一下 , OpenAI这回会挤多久牙膏了 。
【OpenAI炫富的GPT-3来了:45TB数据,1750亿个参数,还会三位数加减法】— 完 —


推荐阅读