据了解,DeepSpeed-Chat是基于微软 DeepSpeed 深度学习优化库开发而成,具备训练、强化推理等功能,并使用了RLHF(基于人类反馈的强化学习)技术,可将训练速度提升15 倍以上,算力成本大大降低 。比如,仅凭单个 GPU就能支持一个130亿参数的类ChatGPT模型,训练时间也只需要 1.25 小时 。
与此同时,该分析师补充说,未来算力的分布结构一定会朝着分布式、去中心化的方式演进,即训练过程在云端完成,在边缘和端侧重推理 。“而不会像现在一样,所有的压力全部由超算中心承担 。”
正在改变与想要改变世界的人,都在虎嗅App
【训练一次ChatGPT,“折寿”3000辆特斯拉】
推荐阅读
- ChatGPT之父承认GPT-5并不存在,为什么OpenAI总是这么实诚?
- 揭秘OpenAI“红军”:聘请专家攻击ChatGPT 解决技术伦理问题
- 如何在自己的电脑里搭建chatGPT
- 奥硝唑胶囊一次吃几粒
- |王思聪:我父亲没给过我5亿,他每一次给都是1000万,最少500万
- 面膜|大牌护肤品被曝含致癌雌激素?网友:贫穷又一次救了我
- 蔡天凤|香港名媛蔡天凤被曝出自名媛训练营!和不少知名商业人士,关系匪浅
- 张晋|张晋这一次的“拼命”,让多少年轻演员“汗颜”?
- 由 ChatGPT 带来的对低代码产品的思考
- “变速箱油”多少公里换一次?修车师傅:记住这些数,以免被坑