效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
OPPO|惯性传感器立奇功:OPPO Find X5 Pro正式上线心率检测功能
-
特朗普|大选前31天特朗普夫妇新冠阳性,早不得晚不得为什么偏偏这时候?
-
[茶农]2020春茶笔记第六篇:春茶季伊始,算一算茶农一天能赚多少钱?
-
穿搭|董洁离婚后更年轻,穿露肩衣配高腰裤录节目,蝎子辫俏皮减龄
-
-
英为财情Investing3销量环比下降64%,特斯拉4月在华Model
-
「中新网」意大利移民数量接近700万人 移民新生代人数超百万
-
-
怅然|喜欢华为的别太着急,这几个系列别人说的再好,入手不如选小米?
-
LPL|韩网评论:世界赛战胜LPL的蓝图浮现在眼前
-
中国唯一一个以“龙”命名的城市,如今迎来机场高铁,离厦门很近
-
-
『杰仔评测』摄像头越多越好?国内厂商都在比拼拍照,难道真的有这么重要吗?
-
-
李荣浩|一夜之间跌落神坛,名利的回旋镖,终于扎在李荣浩身上
-
-
想天外|7P指纹能录入 不能添加,「日常手机维修小课堂」iPhone7
-
-
高启|《狂飙》:一个角色遭到观众强烈反对,却透露了整部剧的良苦用心
-