效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
问董秘|上次您回答过贵公司子公司浙江吉宏精密研发的CMP和华虹半...,投资者提问:您好
-
中年|中国巨富头号人物: 身家215亿,公司衰败逃澳洲,东山再起可能吗?
-
袁立|袁立晒自拍,膀大腰粗身材走样了, 47岁状态也太真实了!
-
-
疫情|多国疫情持续反弹,下半年疫情会卷土重来吗?张文宏作出最新判断!
-
开心娱乐|大叔和萝莉都逃不过油腻?赵露思新剧打破常规,清爽又好看!
-
-
-
人生风景|关羽说了句方言, 孙权下令杀掉,孙权抓到关羽,
-
枝头的喜鹊|金晨真是人间黑天鹅!穿一袭斜肩小黑裙,白净天鹅颈好优胜
-
雷帝触网▲开启债权人投票流程,贾跃亭破产重组正式投票
-
「糗事百科」| 10大动图,当妈的姿势都是统一的,国宝也不例外?
-
葛优:妹妹远在美国父母也已离世,与妻相伴36年,66岁的他今怎样
-
-
-
-
-
人民日报客户端江苏频道|名校名院牵手,22位院士参会!这次聚焦什么大事?
-
|8月生肖苦尽甘来,财运一路大发,日子红红火火,好运赶也赶不走
-
时代之声V▲欧洲被美国“卖”了,6000美军连夜撤离