一天star量破千，特斯拉AI总监写了个GPT的Pytorch训练库( 三 )

本文插图
除了关于 minGPT 本身的讨论之外，还有人提出：有没有可能借助社区力量一起训练 GPT-3？也就是说，如果成千上万的开发者在 GPU 空闲的时候将其贡献出来（比如夜间），最后有没有可能训练出一个 1750 亿参数的 GPT-3？这样的话，大家只需要分摊电费就好了。

本文插图
不过，有人指出，这种分布式训练的想法非常有趣，但可能会在梯度等方面遇到瓶颈。

本文插图
还有人调侃说，把电费众筹一下拿来买云服务岂不是更简单？

本文插图
【一天star量破千，特斯拉AI总监写了个GPT的Pytorch训练库】参考链接：https://news.ycombinator.com/item?id=24189497

一天star量破千，特斯拉AI总监写了个GPT的Pytorch训练库( 三 )

推荐阅读

网易娱乐|台媒曝王大陆母亲病逝送医后研判是脑干肿瘤破裂

江苏如何进行理商标注册查询？

运动后足弓酸痛是啥问题，怎样解决

【新华网】美国前总统卡特准备接受手术缓解脑压高

520祝福的话语,句句暖人心 520祝福

疾病|寿命不长的男性，多半会有这3个“标准”，希望你一个都没有

来历|陇上传说（73）丨“罗家洞”的来历不简单

「C罗」山东鲁能热身赛确定转播机构，齐鲁德比或成本赛季“绝唱”！

核桃果肉能吃吗

全国最好的6大高速服务区，你开车路过吗

手工面料教程手工面料方案

【克什米尔】克什米尔激战持续两天，近200人倒在血泊中，大批印军被击毙！

南极|科学家感到惊异，南极卫星拍摄到地下城市，不冻湖里藏有外星基地

湖南积极引导社会扶贫合力攻坚

身体或内心，最难受的一次是怎么的？

『蜗牛的吃鸡日常』在镜头镀膜上省钱，魅族前副总裁李楠嘲讽P40Pro：用一个超大底

肝脏|肝癌发现即晚期，医生：睡觉时有三症状，或是“求救信号”莫忽视

去年北京实际利用外资167.4亿美元同比增近四成

关羽|关羽五虎将被喷惨，张大仙体验后给出公正评价，这次老马又亏了

【肝脏】肝不好，手脚会有4种表现，若占1个，警惕是肝在向你“求救”！