训练一次ChatGPT,“折寿”3000辆特斯拉( 三 )


据了解,DeepSpeed-Chat是基于微软 DeepSpeed 深度学习优化库开发而成,具备训练、强化推理等功能,并使用了RLHF(基于人类反馈的强化学习)技术,可将训练速度提升15 倍以上,算力成本大大降低 。比如,仅凭单个 GPU就能支持一个130亿参数的类ChatGPT模型,训练时间也只需要 1.25 小时 。
与此同时,该分析师补充说,未来算力的分布结构一定会朝着分布式、去中心化的方式演进,即训练过程在云端完成,在边缘和端侧重推理 。“而不会像现在一样,所有的压力全部由超算中心承担 。”
正在改变与想要改变世界的人,都在虎嗅App

【训练一次ChatGPT,“折寿”3000辆特斯拉】


推荐阅读