江苏龙网

  1. 主页 > 生活百科 > >

YARN 在字节跳动的优化与实践( 四 )

YARN


  • 更加丰富的调度谓词
  • 更加低延迟
4. 团队介绍基础架构 YARN 团队负责字节跳动公司内部离线/流式/模型训练三大场景的资源管理和调度 ，  支撑了推荐/数仓/搜索/广告等众多核心业务 ， 管理着在集群规模、调度吞吐能力、资源利用率、业务复杂性等多个方向上都在业界领先的超大规模集群 。
针对公司内的抖音、今日头条等产品重度依赖推荐的特点 ，  团队对调度器进行了深度定制以支持流式(Flink)训练和 GPU 训练等场景 ，  拥有几十项专利技术 。同时为了进一步提升集群资源利用率 ， 调度团队已经开启在离线大规模混部 ， 并且预期在不久后会进一步融合 YARN / K8S 等调度系统 。
业务扩张 ， 团队长期在北京/杭州招人 。简历投递入口: https://job.toutiao.com/s/KcoXsV
欢迎关注字节跳动技术团队

【YARN 在字节跳动的优化与实践】


推荐阅读


上一篇：皇菊茶的功效与作用,普洱菊花茶的功效

下一篇：嘉庆为什么不留着和珅 嘉庆为什么和珅