行业互联网|Google 刷新 MLPerf 基准测试训练速度记录
Google发布了自主机器学习加速器TPU的新消息 ， 新一代TPUv4的性能将是前一代TPUv3的2倍以上 ， 同时Google也发布了在机器学习的最新进展 ， 于MLPerf基准测试6个模型打破了目前的训练速度记录 ， 在DLRM模型训练上 ， 速度甚至是之前记录维持者的2.8倍 。
本文插图
Google表示 ， 他们打造了目前世界最快的机器学习训练超级计算机 ， 使用专为人工智能设计的张量处理单元（TPU） ， 在6项MLPerf基准测试中 ， 与其他非Google最快的记录相比 ， Google刷新了性能记录 。
这6个模型分别是用于排名与推荐的DLRM模型；常用于自然语言处理的Transformer；还有Google搜索所使用的BERT模型；广泛用于图像分类的ResNet-50模型；可在移动设备上执行的轻量级物体侦测模型SSD；以及图像分割模型MaskR-CNN 。
【行业互联网|Google 刷新 MLPerf 基准测试训练速度记录】
本文插图
这次Google所使用的超级计算机 ， 规格是CloudTPUv3Pod的4倍 ， 具有4,096个TPUv3芯片 ， 与搭载数百颗CPU的主机 ， 这些计算资源以超高速大规模的专用网络相连 ， 最高可以输出430PFLOPs高峰性能 。
Google使用TensorFlow、JAX和Lingvo中的机器学习模型实例 ， 从零开始训练Transformer、SSD、BERT以及ResNet-50模型 ， 训练时间皆在30秒之内 ， 之所以这件事值得一提 ， Google表示 ， 在2015年时 ， 即便用最快的硬件加速器 ， 训练其中一种模型 ， 都需要花费3个多星期 ， 而Google所使用的超级计算机 ， 相当于把相同模型的训练速度提升5个数量级 。
而Google最新的第4代TPU ， 较前一代TPUv3 ， 拥有两倍的矩阵乘法性能 ， 而且内存带宽大幅增加 ， 内部相连技术也获得改善 ， 利用MLPerf基准测试比较TPUv4和TPUv3 ， TPUv4平均性能提升2.7倍 ， 最大的性能差异是用于训练MaskR-CNN ， TPUv4的性能是TPUv3的3.7倍 。
本文插图
推荐阅读
- 挺过上半年疫情冲击，中国电竞行业为啥更红火了？
- 移动互联网|微信终于有这个功能了！但尴尬的是……
- 漏洞|华为称继续向预装Google Play手机提供更新；Mac纳入苹果独立维修商维修范围；三星智能手机生产
- 锐博集团|广东将大规模开展“互联网+”职业技能培训，参加可获补贴
- 锐博集团|IT行业人才招聘观察
- 中新网|挺过疫情冲击，中国电竞行业为啥更红火了？
- 互联网|生态圈时代：如何让江苏文创IP产业化？
- 互联网|两分天下的在线外卖市场用户投诉也更集中
- 人工智能|芯片行业再临暴风骤雨，巨头控制权或将更难撼动
- 互联网电商|呼伦贝尔“无人之地”变“网红”：“直播+电商”成新农活儿