效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
北凉百姓|陈芝豹的结局,背叛北凉后开展复仇大业,功成身退归隐江湖
-
教皇|历经祖宗三代,《十字军之王3》玩家终于把教皇变成了盘中餐
-
政和白茶泡茶,中国地理标志产品政和白茶开摘高山秋茶
-
今年起,农村这2类人很吃亏,白白损失几十万,快看看有你没
-
【传媒樱桃派】鹿晗叫好,希林娜依?高背后还有蔡依林经纪人把关,让黄子韬流泪
-
头像|用你的名字做微信头像:33款3D版商务签名头像,不同风格请查收
-
南京中小学校开学第一课创下多个“最” 师生家长搭上“梦想号”
-
她读|谁穿谁高级,忘掉香芋紫和牛油果绿吧!秋冬就该穿淡漠色
-
健康王医师|鸡蛋搭配一物煮,腰腿不酸不疼了,皮肤白里透红,女性常腰疼
-
央视新闻|芝加哥“血腥周末”:央视记者追踪枪案现场
-
#大而不当#不要误会!,90后女生否认身价百亿400栋楼:大多数是租的
-
「仝卓」好兄弟反目!仝卓发文怒怼郑云龙,骂其买通稿拉踩手段下流
-
-
OPPO|和华为P50 Pocket一样主打轻薄 OPPO首款竖向折叠屏旗舰曝光
-
新华社|中美科学家合作 发现5.5亿年前海底“树叶”
-
谢娜,赵丽颖,张杰,吴昕,快乐家族|赵丽颖又要买锁了!谢娜官宣怀二胎,张杰准备起名中,或已证实怀的儿子
-
交7万中介费出国,如今被困异国他乡,揭露出国务工的套路
-
巴塞电影|《以家人之名》还埋了多少伏笔?,处处是细节
-
-