从算力、数据、算法、工程化等维度看AI的未来( 二 ) _AI

除了GPU与CPU，其他计算设备如ASIC、FGPA等新兴AI芯片也在发展，值得行业关注。鉴于未来数据大概率仍在云端存储的情况下，这些芯片能否在提高性能效率的同时，保证通用性，且可以被云厂商规模性部署，获得软件生态的支持，有待进一步观察。
三
算法
现在我们来分析算法。AI算法对于人工智能，就是厨师与美味佳肴的关系。过去10年AI的发展，数据和算力都起到了很好的辅助作用，但是不可否认的是，基于深度学习的算法结合其应用取得的性能突破，是AI技术在2020年取得里程碑式发展阶段的重要原因。
那么，AI算法在未来的发展趋势是什么呢？这个问题是学术界、工业界集中讨论的核心问题之一，一个普遍的共识是，延续过去10年AI技术的发展，得益于深度学习，但是此路径发展带来的算力问题，较难持续。下面我们看一张图，以及一组数据：

文章插图
1. 根据OpenAI最新的测算，训练一个大型AI模型的算力，从2012年开始计算已经翻了30万倍，即年平均增长11.5倍，而算力的硬件增长速率，即摩尔定律，只达到年平均增速1.4倍；另一方面，算法效率的进步，年平均节省约1.7倍的算力。这意味着，随着我们继续追求算法性能的不断提升，每年平均有约8.5倍的算力赤字，令人担忧。一个实际的例子为今年最新发布的自然语义预训练模型GPT-3，仅训练成本已达到约1300万美元，这种方式是否可持续，值得我们思考。
2. MIT最新研究表明，对于一个过参数化（即参数数量比训练数据样本多）的AI模型，满足一个理论上限公式：
【从算力、数据、算法、工程化等维度看AI的未来】

文章插图
上述公式表明，其算力需求在理想情况下，大于等于性能需求的4次方，从2012年至今的模型表现在ImageNet数据集上分析，现实情况是在9次方的水平上下浮动，意味着现有的算法研究和实现方法，在效率上有很大的优化空间。
3. 按以上数据测算，人工智能算法在图像分类任务（ImageNet）达到1%的错误率预计要花费1亿万亿（10的20次方）美元，成本不可承受。
结合前文所述的数据和算力2个维度的分析，相信读者可以发现，未来标注数据成本、算力成本的代价之高，意味着数据红利与算力红利正在逐渐消退，人工智能技术发展的核心驱动力未来将主要依靠算法层面的突破与创新。就目前最新的学术与工业界研究成果来看，笔者认为AI算法在未来的发展，可能具有以下特点：
（1）先验知识表示与深度学习的结合
纵观70多年的人工智能发展史，符号主义、连接主义、行为主义是人工智能发展初期形成的3个学术流派。如今，以深度学习为典型代表的连接主义事实成为过去10年的发展主流，行为主义则在强化学习领域获得重大突破，围棋大脑AlphaGo的成就已家喻户晓。
值得注意的是，原本独立发展的3个学派，正在开始以深度学习为主线的技术融合，比如在2013年，强化学习领域发明了DQN网络，其中采用了神经网络，开启了一个新的研究领域称作深度强化学习（Deep Reinforcement Learning）。
那么，符号主义类算法是否也会和深度学习进行融合呢？一个热门候选是图网络（Graph Network）技术，这项技术正在与深度学习技术相融合，形成深度图网络研究领域。图网络的数据结构易于表达人类的先验知识，且是一种更加通用、推理能力更强(又称归纳偏置)的信息表达方法，这或许是可同时解决深度学习模型数据饥渴、推理能力不足以及输出结果可解释性不足的一把钥匙。
（2）模型结构借鉴生物科学
深度学习模型的模型结构由前反馈和反向传播构成，与生物神经网络相比，模型的结构过于简单。深度学习模型结构是否可以从生物科学、生物神经科学的进步和发现中吸取灵感，从而发现更加优秀的模型是一个值得关注的领域。另一个方面，如何给深度学习模型加入不确定性的参数建模，使其更好的处理随机不确定性，也是一个可能产生突破的领域。
（3）数据生成
AI模型训练依赖数据，这一点目前来看不是问题，但是AI模型训练依赖人工标注数据，是一个头痛的问题。利用算法有效解决或者大幅降低模型训练对于人工标注数据的依赖，是一个热点研究领域。实际上，在人工智能技术发展过程中一直若隐若现的美国国防部高级研究计划局（DARPA），已经将此领域定为其AI3.0发展计划目标之一，可见其重要程度。