江苏龙网

  1. 首页 > 人文 > >

清华|智商超群！她琴棋书画全能、进入清华 却并不是人( 二 )


通用：一统文本与视觉两大阵地，支撑更多任务，更通用
国产：首次在100%国产超算上训练万亿模型
知识：中英双语，在共4.9T的高质量清洗数据上训练
与其说悟道2.0是一个语言模型，更确切的说法应当是一位“全能型选手” 。
正如华智冰所具备的实力一样，悟道2.0在问答、绘画、作诗、视频等任务中正在逼近图灵测试 。
清华|智商超群！她琴棋书画全能、进入清华 却并不是人
文章图片
而且还是得到了官方认可的那种：在世界公认的9项Benchmark上获得了第一的成绩 。
清华|智商超群！她琴棋书画全能、进入清华 却并不是人
文章图片
再究其背后，还有三个夯实的基石，保障了悟道2.0的强悍性能 。
首先，是算法基石——FastMoE 。
清华|智商超群！她琴棋书画全能、进入清华 却并不是人
文章图片
在过去的大规模预训练模型中，MoE可以说是一个必要的条件 。
它是一个在神经网络中引入若干专家网络的技术，能直接推动预训练模型经从亿级参数到万亿级参数的跨越 。
但缺点也是非常明显，需要与昂贵的硬件强关联、强绑定 。
而作为首个支持PyTorch框架的MoE系统，FastMoE便打破了分布式训练的瓶颈，还并针对神威架构进行了优化，可在国产超算上完成训练 。
其次，是自研的最大英文通用预训练模型——GLM 2.0 。
据了解，新一代的GLM模型以100亿的参数量， 匹敌微软170亿参数的Turing-NLG模型，能在LAMABADA填空测试中表现更优 。
清华|智商超群！她琴棋书画全能、进入清华 却并不是人
文章图片
最后，还有世界最大中文多模态生成模型——CogView 。
它的参数量达到了40亿，可直接从中文文字生成图像 。
并且在MS COCO文本生成图像任务权威指标FID上，CogView还打败OpenAI今年年初发布的130亿参数的DALL·E，获得世界第一 。
清华|智商超群！她琴棋书画全能、进入清华 却并不是人
文章图片
有数据驱动夯实的基本功，还有强悍知识驱动的加持，这便是华智冰超于以往虚拟人的关键点 。
清华|智商超群！她琴棋书画全能、进入清华 却并不是人
文章图片
悟道的野心还不止如此 。
除了自身的能力，它还能为广大开发者、技术公司，以及传统企业提强大而通用的智能服务底层系统，仅通过模型微调实现领域模型的构建，避免不必要的重复模型训练 。
通过这种智能赋能的方式，“悟道2.0”之上将会出现一个超大规模的智能模型应用生态 。在智谱AI负责的应用平台上，已经出现了不少有趣的应用（见文末链接） 。
比如，在故事生成专区里，有开发者做的应用可以创作时下最为流行的逻辑推理游戏——剧本杀的脚本 。
剧本杀故事本身所具有的强逻辑性、环环相扣的特点，多数玩家应当是深有体会 。
这些应用已经上线了，大家可以体验一下！
以为这就完了？
不不不 。
还能写论文和策论！
只要给定标题、分论点和关键词，即可生成一段逻辑严谨的文字片段 。
归总一句话，这个关键点能够推动的，便是让机器能像人一样“思考” 。
“炼大模型就像建一个粒子加速器”
由此延伸，随之浮出的一个问题便是：为什么大模型如此重要？
人工智能的发展，似乎已经从“大炼模型”逐步迈向了“炼大模型”的阶段 。
从谷歌的BERT，到OpenAI 的 GPT-3、Dall·E，以及越来越多的大模型涌现 。
一个模型的定义，不再仅局限于“算力+算法”，还要整合尽可能多的数据 。
整理成式就是，模型=数据+算力+算法 。
通过设计先进的算法，整合尽可能多的数据，汇聚大量算力，集约化地训练大模型，供大量企业使用 。
但与此同时，伴随而来的争议也十分明显：太烧钱！
一般企业是承受不了的 。而烧钱之后所能达到的效果，也是差强人意 。
那要不要做？值不值得做？成为世界上一些国家、大型企业所面临的难题 。
清华大学人工智能研究院院长、中国科学院院士张钹教授，则肯定表示——要做！


推荐阅读


上一篇：游客报名|居民出游意愿强烈，端午节出游人次预计上亿

下一篇：大象|15头野象进入昆明：为什么不直接使用麻醉枪限制其继续北上