|ImageNet训练再创纪录，EfficientNet异军突起，ResNet：感受到了威胁
本文插图
作者 | 青暮
近年来 ， 随着深度学习走向应用落地 ， 快速训练ImageNet成为许多机构竞相追逐的目标 。
2017年6月 ， FaceBook使用256块GPU以1小时在ImageNet上成功训练了ResNet-50 。 在这之后 ， ResNet-50基本成为了快速训练ImageNet的标配架构 。
2018年7月 ， 腾讯实现用2048块Tesla P40以6.6分钟在ImageNet上训练ResNet-50 。 同年8月 ， Fast.ai实现了18分钟的快速训练 ， 他们使用的硬件是128块Tesla V100 。 到11月 ， 索尼更是将训练时间压缩为224秒 ， 不过其当时使用了2176块Tesla V100 。 Fast.ai和索尼使用的网络架构也都是ResNet 。
那么如今 ， 在快速训练ImageNet的竞逐上 ， 形成了什么局面呢？
1 ResNet霸榜 ， 偶有对手
在DAWNBench的ImageNet训练排行榜上 ， 我们可以看到 ， 前五名都是使用了ResNet-50 ， 并且最快训练时间达到了2分38秒 ， 同时还能实现93.04%的top-5准确率 ， 以及14.42美元的低训练成本 。
DAWNBench 是斯坦福发布的一套基准测试 ， 主要关注端到端的深度学习训练和推断过程 ， 用于量化不同优化策略、模型架构、软件框架、云和硬件的训练时间、训练成本、推理延迟和推理成本 。
排行榜地址：https://dawn.cs.stanford.edu/benchmark/ImageNet/train.html
本文插图
但除了ResNet-50 ， 就没有其它适合快速训练ImageNet的架构了吗？
在这个排行榜的第10位 ， 我们看到了一个孤独的名字——AmoebaNet-D N6F256 ， 根据排行榜的数据 ， 它用1/4个TPUv2 Pod和1小时的时间在ImageNet上达到了93.03%的top-5准确率 。
实际上 ， 该架构在2018年4月就由谷歌提出 ， 在相同的硬件条件下 ， AmoebaNet-D N6F256的训练时间比ResNet-50要短很多 。
本文插图
并且 ， AmoebaNet-D N6F256的训练成本也只有ResNet-50的一半 。 AmoebaNet-D是基于进化策略进行架构搜索的NAS架构 ， 谷歌通过提供复杂的构建模块和较好的初始条件来参与进化过程 ， 实现了手动设计和进化的有机组合 。
论文：Regularized Evolution for Image Classifier Architecture Search
本文插图
除此之外 ， 在DAWNBench的排行榜上 ， 就看不到其它类型的架构了 。 但是在Papers With Code的ImageNet排行榜上 ， 就没有出现ResNet和AmoebaNet-D霸榜的现象 。
在top-5准确率前五名中 ， 可以注意到 ， 除了ResNet以外 ， 剩下的架构都和EfficientNet有关 。 其中排名第一的架构 ， 其top-5准确率已经达到了98.7% 。 不过这个排行榜并没有列出训练时间、硬件和成本 ， 所以和DAWNBench不能一概而论 。
排行榜地址：https://www.paperswithcode.com/sota/image-classification-on-imagenet
本文插图
EfficientNet近日在这项竞逐中也出现了新突破 ， 新加坡国立大学的尤洋和谷歌研究院的Quoc Le等人发表了一项新研究 ， 表示其用1小时实现了ImageNet的训练 ， 并且top-1准确率达到了83%（Papers With Code的排行榜前十名的top-1准确率在86.1%到88.5%之间） 。
本文插图
推荐阅读
- 超能网|亚马逊转用自家芯片进行人工智能训练，只剩少量程序仍然以显卡来训练
- |近期必读 ICLR 2021 模型压缩&预训练相关论文
- |甘肃消防探智慧建设：智能辅助作战训练 管理延伸细节末端
- 2020双十一成绩单|科技早报 | 2020双十一成绩单公布天猫京东再创纪录 斗鱼提交退市申请或明年与虎牙合并
- 京东集团|创纪录！京东11.11下单金额2715亿 助力实体经济 服务亿万用户
- 每日经济新闻|京东双11累计下单金额2715亿创纪录，物流开放业务增长102%
- 京东|下单金额突破2431亿！京东11.11“全球热爱季”再创纪录
- |预训练语言模型：还能走多远？
- 大河风光|知乎带货实战训练营线上第2期，教您知乎带货，月收益几千到几万（无水印）
- 行业互联网|季度业绩创纪录！联想为它的智能转型，交了满意成绩单！