效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
-
-
-
车友料|首款车也安排上了,你期待吗?,东风的高端品牌终于要落地了
-
Ada妈妈深呼吸|被日寇炸死后尸体停放8年,蒋介石原配毛福梅:离婚仍守蒋家老宅
-
史君策|是否达到了称霸的资格?,强秦的奠基人秦穆公
-
-
「新华网客户端」湖南援助湖北黄冈医疗队最后一批队员返湘
-
「仨三搞笑说」线条特别硬朗,整体设计大气,欣赏档次很高的宝骏610
-
老李笑话大全|你这腹肌真特别!衬衣都撑爆了,搞笑GIF段子:兄弟
-
央视|降幅由3%跌至4%,欧开行再下调对哈萨克斯坦经济预期
-
cnBeta 诺基亚液冷5G技术降低了运营商二氧化碳排放量
-
海峡军武号|叙利亚发动猛烈进攻,全面收复失地机会来了?,战斗正式打响
-
-
半年报|【中国经济半年报】工业指标稳步回升 经济运行回归正轨
-
妻子弟弟结婚,我拿出两个月工资随礼,隔天我却和妻子离婚
-
愉悦说育儿 不“喂饭”就不吃?这样吃饭对胃伤害大,孩子吃饭必须有人喂
-
《知否》盛明兰的3个金句,告诉我们,女人一定要活得清醒通透
-
警察|现场!美国17岁男孩射杀2名示威者 持枪淡定走向警察
-
如果在江河大海中快被漩涡卷进去了,还有生存的希望么,该怎样自救