算法向左，人工智能向右我们无论是叫外卖、导航甚至

文章图片
人工智能（AI）已经成为了这个世界不可或缺的生产力，我们无论是叫外卖、导航甚至是网上交友，都离不开AI的帮助。
尽管AI仿佛无所不能，但它仍然有自己的“阿喀琉斯之踵” ，那就是费用太过昂贵。
举个例子，要训练今天最炙手可热的自然语言模型GPT-3 ，预计将耗费3000亿次浮点操作，相当于在商业GPU（图形处理器）上投入至少500万美元。对于任何中小型企业来说，这都不是一个小数字。
在早期，电脑硬件和算法是一体的，早在上世纪50年代末期，康奈尔大学教授弗兰克·罗森布拉特设计了“马克一号”（下图），它被认为是史上第一台万用型电脑，主要用于研究原子弹。

文章图片
随后，理论计算机学奠基人冯.诺伊曼提出了''普林斯顿结构''（下图），这是一种将程序指令存储器和数据存储器合并在一起的电脑设计概念结构，这为后来电脑的存储设备与CPU分开奠定了基础。

文章图片
实话实说，普林斯顿结构相当牛，它不仅让制造通用电脑成为可能，同时令电脑可以编程，从而为人类打开了一扇新的大门。可以说冯.诺伊曼谱写了现代电脑的蓝图。
不过，普林斯顿结构仍然有一个致命缺点，那就是在CPU与存储器之间的流量，远小于存储器的容量，简单来说就是CPU计算速度不够快，而且很难提升。
学术界将这个缺点称为“冯·诺伊曼瓶颈'' ，正因为如此，那个时代很难发展什么人工智能。硬件的瓶颈使得早期神经网络过于肤浅，性能不佳。
一直到上世纪70年代这个问题才被解决，当时游戏开发者设计了最早期的GPU——ANTIC芯片，专门为Atari-8位电脑提供硬件控制的图形文字混合模式，以及其他视频效果的支持。

文章图片
这种GPU使用了数千个计算核心，其并行性解决了冯-诺依曼瓶颈，从而使得GPU训练深层神经网络成为可能。时至今日， GPU已成为人工智能的标配硬件。
讽刺的是，自那以后， GPU硬件的发展相对缓慢，这是因为芯片制造商需要砸很多钱去升级换代，但回报不确定，因此安全做法是简单地优化矩阵乘法，这已经成为了行业现状。
谷歌研究员萨拉.胡克（SaraHooker）说，早期的AI研究者只是不走运，因为CPU速度不够快，但GPU的出现让他们中了''硬件彩票'' 。

文章图片
那么，为什么现代人工智能的费用如此昂贵？
一个简单的答案可能是硬件和算法不够匹配。举个例子， ''深度学习之父''杰弗里·辛顿开发了一种新颖的电脑视觉方法——胶囊神经网络，令人惊讶的是，该算法在CPU上工作得很好，但在GPU和TPU(张量处理单元，是谷歌用来深度学习的专用集成电路）上表现不佳。
学者因此认为，机器学习陷入了困境，从长期看，硬件的停滞不前将将抑制AI创新。

文章图片
那么，如果AI想要实现突破，它的未来在哪里？
萨拉.胡克表示， “下一步突破可能需要一种完全不同的方式来建立世界模型，包括使用不同的硬件、软件和算法组合。 ”
有专业人士认为，由GPU和TPU支持的深度神经网络，尽管它们在今天的许多任务中表现出色，但从长远看可能并不是未来发展方向。
【算法向左，人工智能向右】换句话说，对于下一代人工智能来说，光有厉害的算法是远远不够的，我们还需要在硬件上不断创新。

文章图片

算法向左，人工智能向右

推荐阅读

科技生活快报全球最大卫星服务运营商Intelsat申请破产重组

[海峡网]看到这一幕有不少女粉自叹不如，戳爷直播织毛衣

智通财经|净亏损同比扩大至1.35亿美元，传奇生物(LEGN.US)Q2营收1160万美元

「爱排球」无愧为当今排坛第一人，恭喜！女排国手朱婷再添一项特殊荣誉

城里和农村家庭积蓄会有差距吗，差距会很大吗?

清华大学：校园内发现95座古代墓葬，已发掘完成16座

鬼才狗仔|鞠婧祎脱口而出3个字，比美瞳更高级，被杨迪问眼睛为什么那么亮

[深圳街头]老照片, 1979年的深圳, 完全想不到这是深圳

不懂配色穿衣很难高级，这三个快捷的配色方案，穿搭简单不费时

北京企业管理学院企业精品专业校园环境怎样

高三学生怎样消除无力感厌学感

腹肌板怎么用呢

一汽|一汽解放：前三季净利同比增长48.56%

水滴汽车APP|试驾新款奔驰E级，造车：一件永远与年轻人为伍的事情

三清是哪三清？

[蓝玉时尚]彰显小姐姐年轻个性，展现时尚气质，街拍：青春靓丽的打底裤穿搭

租的房子里有鬼的征兆房子里有鬼的征兆有哪些

飞行学员“高光”时刻！搏击长空热血训练射中目标场面高燃

『国家』截至目前广东共排查在粤疫情高风险国家人员6353人

青春的无悔■新专辑再一次顶着大瓜出来了！，娱乐圈第一预言家汪峰