江苏龙网

  1. 首页 > 人文 > >

手机百度飞桨与OPPO的"AI故事"：当深度学习遇见智能手机( 二 )


其实 ， 这些同样也是深度学习技术要在产业实现落地的前提 。
【手机百度飞桨与OPPO的"AI故事"：当深度学习遇见智能手机】
手机百度飞桨与OPPO的"AI故事"：当深度学习遇见智能手机
本文插图
接触之后 ， 百度飞桨团队很快根据内部使用经验和对OPPO业务场景的了解 ， 给出了大量应用建议 ， 包括在数据读取方面使用高性能数据读取接口Dataset、在分布式训练方面采用基于全异步大规模稀疏参数服务器的训练方式、在预测方面采用飞桨的预测库自行构建预测服务等 。
经过验证 ， OPPO发现相比其他框架 ， 飞桨的参数服务器训练方法有非常高的性价比 ， 采用十台以内CPU服务器就可以有效地解决超大规模推荐系统、超大规模数据、自膨胀的海量特征及高频率模型迭代的问题 ， 并拥有超大吞吐量及高效率 。 这非常贴合OPPO的实际需求 。 目前 ， OPPO已经构建了数百台服务器的集群用于训练飞桨的分布式任务 ， 为产品线的策略调研提供了很大的便利 。
OPPO的研发人员发现 ， 飞桨可以在大幅度降低内存使用的情况下 ， 将训练速度大幅提升 ， 是原有训练工具速度的8倍 。 此外 ， 飞桨能够支撑的稀疏参数规模也让OPPO策略研发人员将模型的参数数量提升了20倍 。 飞桨提供的全局分布式数据打乱、多通道数据数据预处理等功能也极大的提高了训练的吞吐效率和易用性 。
双方一拍即合 ， 立刻开始着手将飞桨应用落地到OPPO的具体业务场景中 ， 但要先从哪一块"硬骨头"啃起？OPPO与飞桨的研发人员将目光放在了应用商店 ， 这是OPPO互联网服务中最重要、流量非常大的业务 ， 其中有三个需要训练的板块：商店首页、应用商店业和应用商店热搜 。
手机百度飞桨与OPPO的"AI故事"：当深度学习遇见智能手机
本文插图
最终 ， OPPO和飞桨研发人员决定采用Wide&Deep模型进行训练 ， 同时增加DNN网络作为深度部分参与训练 ， 以提高模型的泛化能力 ， 并基于Kubernetes集群 ， 快速完成了飞桨分布式训练集群的适配工作 。 同时 ， 飞桨还提供了基于C++语言的服务器端部署功能 ， 帮助OPPO研发人员快速实现线上业务预测 。
"我们和飞桨团队的同学进行了长期的接触合作 ， 并且对方一直在及时响应和支持我们在应用部署中遇到的各类问题 。 "OPPO的算法工程师回忆："从去年开始 ， 双方每周都会组织沟通会议 ， 高效同步进展和问题 ， 训练效率的提升最终为OPPO的线上业务带来了实打实的收益 。 "
成果：OPPO业务线的AI应用场景训练更"快" ， 收益更"多"
"飞桨的分布式推荐系统在应用商店业务取得收益后 ， OPPO先后在信息流、信息流广告、商业广告、游戏中心等诸多部门进行运用 ， 效果非常显著 ， 其中信息流部门收益提升了5% ， 其他业务线也取得了2%-5%不等的提升 。 "OPPO研发人员肯定了百度飞桨对OPPO互联网业务带来的巨大价值 。
而在这次合作中获得突破的并非只有OPPO一方 ， 百度飞桨团队也表示 ， OPPO提供了大量的外部企业的需求 ， 飞桨以此为契机 ， 也完成了一系列升级 ， 例如优化大规模分布式异步训练的速度、支持超大规模稀疏参数等 ， 将自身打造成更符合企业实际应用的框架 ， 能够更好地满足产业智能化转型的需求 。
OPPO研发人员还认为 ， 这次合作也进一步验证了飞桨作为工业级深度学习平台的成熟度 ， 后续双方还将在在线学习、多目标等场景展开深度合作 ， 将互联网服务所能提供的用户体验推进到新的高度 ， 形成合作共赢的良性发展 。
手机百度飞桨与OPPO的"AI故事"：当深度学习遇见智能手机
本文插图
（百度CTO王海峰在"WAVE SUMMIT"2020深度学习开发者峰会）


推荐阅读


上一篇：虚幻5引擎发布，用华硕XG27WQ电竞显示器体验顶级真实感

下一篇：长旭数码华为nova6降至2299元，麒麟990+8GB+前置双摄，网友：值了