机器之心AI算法效率每16个月翻番，超越摩尔定律，OpenAI：长江后浪推前浪( 二 )
此外调研结果表明 ， 对于投入大量研究时间和/或算力的 AI 任务来说 ， 算法效率的提升可能超过了对硬件效率的需求 。
作为总体基准测试的一部分 ， OpenAI 首先进行视觉和机器翻译效率基准测试 ， 特别是在 ImageNet 和 WMT14 数据集 ， 并且之后会添加更多的基准方法 。 不允许出现人工标签、其他图像或数据 ， 但对用于翻译或扩增增强的训练数据不会施加任何限制 。
本文插图
从 ImageNet 数据集上的 79.1% top-5 准确率来看 ， 从 2012 年的 AlexNet 到 2019 年的 EfficientNet ， 算力提升了 44 倍之多 。
本文插图
从 WMT-14 EN-FR 数据集上的 34.8 BLEU 来看 ， 从 2014 年的 Seq2Seq(Ensemble) 到 2017 年的 Transformer(base) ， 算力提升了 61 倍 。
算力、算法相结合 ， 继续加大 AI 算法效率的研究投入
OpenAI 表示：「业界领袖、政策制定者、经济学家和潜在的研究人员都力图更深刻地理解 AI 进展 ， 并决定他们应该投入多少以及这些投入的未来走向 。 AI 模型效率的基准测试正好可以帮助他们做出正确的决策 。 」
AI 算法的效率提升虽然可观 ， 但相对于呈指数增长的新算法参数数量来讲还是显得不够 。 OpenAI 研究人员提出的「有效计算」概念把算力和算法的提升结合了起来 ， 我们可以直观地看到各领域对于人工智能发展的贡献：
本文插图
看起来 ， 并行计算和芯片制程的提升加起来还是占大头 。 但正如研究人员得出的结论：我们需要加大对于 AI 算法效率研究的投入 。
推荐阅读
- 带你吃瓜做个无情的尖叫机器啊啊——任嘉伦《琵琶行》造型大片抢先看，200505
- 军人驿站国际观察俄土科技差距显露无疑，美称此战可载入史册，叙利亚爆发机器人大战
- 松鼠军评俄土科技差距显露无疑，美称此战载入史册，叙利亚爆发机器人大战
- 埃尔法哥哥还可以做扫地机器人啊，自动驾驶不做了
- 界面新闻MIT：美国制造业每多1个机器人，平均取代3.3名工人
- 读懂新金融营销、城市、机器人、养牛养鱼……新型科技公司的十八般武艺
- 极客公园机器人大爆发的时代来了？风口上的优必选说要「保持冷静」
- 15个最流行的GitHub机器学习项目
- 上观新闻疫情不改发展进程 协同创新推动“智造”加速跑，“机器人”核心部件实现自主研发
- 科技智能制造TB细数机器人十大工控产品，没有这些机器人自动化就不能实现