效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
张柏芝早就被绿了?谢霆锋10年后终于公开女儿,原来王菲早已知晓
-
-
月球|开始行动了!NASA登月联盟在月球上发现水,却将中国排除在外
-
华为荣耀|突然宣布!荣耀营销经理退休,引发网友猜疑
-
-
Logo设计也可以二次元化,说不准某些图标的灵感正是来自于二次元
-
世界上最古老的四种文字分别是什么 世界上最古老的六大文字
-
-
招聘|用招聘网站的后台告诉你,为什么你投了几百份简历,很少有人回复
-
无敌改装车▲RR:Type-RR,最强思域FD2!Mugen
-
张爱玲|张爱玲在晚年崇尚“极简主义生活”,并非穷困潦倒,稿费拿到手软
-
AutoR智驾 逆行外卖小哥、深夜拥堵轻松应对,元戎启行自动驾驶汽车挑战“宇宙最强街道”
-
-
-
三十年体坛故事|7连杀+赛季双杀!上港仍是国安梦魇 御林军争冠梦碎?
-
-
教育部|教育部重要通知,2条升学途径被堵死!家长无语:之前努力白费了
-
妻子伺候二婚丈夫五年,继子来医院探望一趟,妻子含泪提出离婚
-
-