[]深度学习框架的灵魂

[]深度学习框架的灵魂
文章图片

文章图片

新智元推荐
2020年是中国深度学习框架年 。
清华Jittor , 旷视MegEngine , 华为Mindspore已经接连在3月份开源 , 一流科技的Oneflow也在为开源做着紧锣密鼓的准备 。国内深度学习框架发展终于迎来了百花齐放的一天 , 下一步有没有可能发展出具有世界影响力的深度学习框架呢?无疑 , 道阻且长 , 影响因素错综复杂 。
[]深度学习框架的灵魂
文章图片

文章图片

我前几天写过一篇题为《如何欣赏一个深度学习框架?》的文章 , 在文中表达了这样的观点:在百家争鸣的氛围下 , 技术创新性是框架是否能脱颖而出的决定因素 。在那篇文章中 , 我指出了分析框架品质的三个方面:创新性 , 工程质量 , 各个模块的技术实现 。
后来又思考了一下 , 觉得对框架的分析可以更进一步 , 我们就在这里讨论讨论一个深度学习框架的灵魂 。
软件系统的灵魂 , 来自于团队的审美和价值观
任何一件产品都有灵魂 , 从设计思想到每一处细节 , 都是这个产品灵魂的表现 。一幅画 , 一本书 , 一部电影 , 都在向外传递着坐着的个性主张 , 同样是暴力美学电影 , 北野武 , 杜琪峰 , 昆汀达伦提诺执导的作品也各不相同 。一件电子产品 , 体现了打造者对产品的想象和热情(如果有的话) , 这些个性特征也决定了产品的成败 。
苹果的产品 , 鲜明地体现了以乔布斯为代表的设计及研发团队的追求;同样作为智能手机 , 功能类似 , 但设计不同 , 即使是抄袭苹果的设计 , 在制造上仍可能无法像苹果一样做到极致 , 一部手机有成千上万的细节 , 苹果可以做到倾尽所有资源把全部细节做好 。
软件系统也有灵魂 。软件的灵魂来自背后研发团队对需求的理解 , 团队的组织结构 , 团队的审美和价值观 。我觉得 , FrederickBrooks的《人月神话》一书 , 对复杂软件系统核心理念的讨论非常好 , 尽管作者没有使用“灵魂”这个词 。Brooks非常强调“概念一致性”问题 , 我觉得那个“一致的概念”就接近软件的灵魂 。
人月神话提到的概念一致性是什么?
【[]深度学习框架的灵魂】什么是概念一致性?绝大多数欧洲的大教堂中 , 不同时代、不同建筑师所建造的各个部分之间 , 在设计或结构风格上都存在着许多差异 。建筑师总是试图在前人的基础上有所“提高” , 以反映他们在设计风格和个人品味上的改变 。所以 , 在哥特式教堂上 , 可能依附着诺曼底风格的十字架 , 展示了建筑师的审美 。
与之对应的是 , 法国城市兰斯在建筑风格上的一致性和上面所说的大教堂形成了鲜明的对比 , 设计的一致性和那些独到之处同样让人们赞叹 , 这些风格的一致和完整性来自数代拥有自我约束和牺牲精神的建筑师们 , 他们每一个人牺牲了自己的一些创意 , 以获得纯粹的设计 。这不仅显示了上帝的荣耀 , 同时也体现了他拯救那些沉醉在自我骄傲中的人们的力量 。
[]深度学习框架的灵魂
文章图片

文章图片

实现复杂软件系统的概念一致性绝非易事 。康威定律说:组织沟通方式决定系统设计 , 研发团队的组织架构至关重要 。为了实现概念一致性 , Brooks高度推崇一种所谓外科手术团队那样的组织形式 , 设计师或架构师具有权威 , 有点接近贵族专制 , 对于开发出美好的软件产品来说 , 民主倒不一定有益 。
如果了解微软当年历时五年研发出新一代操作系统内核WindowsNT的历程 , 应该知道DaveCutler就相当于那个主刀的外科手术医生 , 正如LinusTorvalds之于Linux操作系统 , 他们对产品的想象决定了这些操作系统内在的一致概念 , 决定了对技术路径的扬弃 。


推荐阅读