效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
-
江苏新闻|正义之魂不灭!曾帮南京大屠杀幸存者夏淑琴讨回公道,请记住谈臻这个名字
-
-
-
常州市交通运输局|市交通运输:“四不两直”督查高速公路安全生产工作
-
神雕侠侣枯木大师怎么会六脉神剑 枯荣大师会六脉神剑吗
-
短裤|街拍:条纹上衣白短裤,美丽女神有个性,有型有范成街头一景
-
-
地下城与勇士|DNF:武器锻造大改版,新增四维属性,辅助奶职业成大赢家
-
-
『卢伟冰』华为正式宣告反击,网络不是无法之地,卢伟冰始料未及
-
牙膏涂于皮肤上的妙用: 把牙膏涂在手腕上用力抓第二天会怎么样
-
-
九哥历史|取消中国航班,如今终于自食恶果,这个旅游胜地把日本当“靠山”
-
-
李俊慧|咋选,暑期买笔记本:荣耀MagicBookPro、Redmibook14和联想小新Air14
-
-
Seven聊时尚圆润的脸型竟有了“尖下巴”,这身材不到90斤吧,何洁真瘦了不少
-
-