效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
-
-
-
第三届两岸剧本创投平台获奖剧本揭晓 两位台湾导演拔头筹
-
-
-
-
-
广西新闻网|柳州一男子街边上演“嚎啕大哭”戏码,“哭”累竟睡着了,一起来看他的“表演”
-
男性养生|常吃韭菜的人,身体不会差,但切忌与一物同食,却有很多人不清楚
-
正官庄携手东阿阿胶联合上新!星品红胶膏颜全面上市!
-
磊磊趣闻|曾获体操冠军的她,16岁被姜文带进娱乐圈,没成想私生活混乱不堪!
-
中国新闻网|前9月全国食品工业规上企业利润总额同比增10.1%
-
-
-
趣头条|天际红色涂装很时尚,2.0L踩出151马力,油耗6L,2021款逍客到店
-
新华社|东京奥组委副主席:明年3月后决定奥运会是否举办
-
-
[4s店]购车“砍价”最多能砍到多少?4S离职销售透露:这个才是底线!
-