江苏龙网

  1. 主页 > 生活百科 > >

构建更好的基于LLM的应用程序的四大秘诀

LLM

作者 | Adrien Treuille
译者 | 布加迪
自从AI target=_blank class=infotextkey>OpenAI发布首个ChatGPT模型以来，人们对生成式AI的兴趣激增 。基于大语言模型（LLM）的应用程序现处于企业思考生产力和效率的最前沿，用于构建生成式AI应用程序的工具和框架得到了极大的扩展 。但人们仍然担心生成式AI输出的准确性，因此开发人员需要快速学会处理诸如此类的问题，以构建强大、可靠的应用程序 。
以下是提高LLM应用程序准确性的一些建议和技术，以及选择正确LLM的注意事项 。我们无法详尽地探讨这些问题 ， 因为每个问题本身都很复杂，但我们可以提供一番建议，供诸位进一步探索 。
本文中的Streamlit是一个免费开源框架，用于快速构建和共享机器学习和数据科学Web应用程序，最近它发布了一份报告，分析了Streamlit社区云上13000余名开发人员构建的21000多个LLM应用程序 。它介绍了开发人员迄今为止一直在使用的一些工具和技术 ， 并提供了以下一些建议 。
比如说，矢量检索工具可以为基于LLM的应用程序有效地改善上下文推荐 ， 但我们的调查发现，目前只有少数开发人员在使用矢量功能 ， 这代表未来大有机会 。
【构建更好的基于LLM的应用程序的四大秘诀】随着更多的开发人员利用生成式AI开发应用程序，我们将开始看到跨类别和垂直行业的应用程序逐渐内置基于AI的搜索以及对话和辅助体验 。以下是我给开发人员的四条建议，帮助他们构建更好的基于LLM的应用程序 ， 这样他们可以给所在组织带来真正的颠覆效应 。
1、为更智能的应用程序使用代理和编排像LangChain和LlamaIndex这样的编排框架可以使用额外的工具或代理来帮助增强模型基于LLM的应用程序的功能 。在这种情况下，可以将代理视为插件系统，允许您将额外功能做入到应用程序中，用自然语言来表达 。
这些代理可以组合起来管理和优化LLM功能，比如改进AI推理、解决偏见和集成外部数据源 。代理还可以为LLM提供一种方法来思考它是否犯了错误以及成功完成任务所必须采取的步骤 。
打个比方 ， 考虑一下开发人员如何编写提供特定函数的API和描述该函数的文档：API表示为代码，文档使用自然语言 。代理以类似的方式工作，除了提供文档是为了方便LLM，而不是方便其他开发人员 。因此，LLM关注手头的任务，查看代理的文档，并确定代理是否可以帮助它完成任务 。
这些代理还为应用程序提供了一种反思自身错误并纠正它们的方法 ， 从而为LLM应用程序增添了健壮性 。比如说，假设一个LLM应用程序编写了一些SQL代码来执行任务，比如检查数据库中的库存数量，但它在代码中犯了错误 。对于标准的“幼稚”的LLM应用程序而言，这个错误如同路之尽头 。
然而，如果应用程序有一个执行SQL的代理，它可以查看错误，使用代理来确定应该采取什么不同的做法，然后纠正错误 。这可能只是语法上的一个小变化，但是如果没有代理，LLM就无法通过推理解决错误 。
2、使用矢量魔法和RAG来对抗幻觉有时，您在使用的LLM无法访问完成预期任务所需的所有信息 。这可以在提示时注入额外的信息，但大多数LLM限制了这些提示的大小 。为了克服这种限制，LLM可能需要使用矢量查询外部数据库 ， 这种技术就叫检索增强生成（RAG） 。
为了理解RAG可以为LLM应用程序做什么，不妨考虑三个不同级别的LLM应用程序 。
•第1级：应用程序可以使用LLM中已有的知识生成结果 。
•第2级：应用程序需要额外的信息，信息可以在提示时注入 。只要您能保持遵守提示限制，这相当简单 。
•第3级：LLM需要联系外部信息源（比如数据库）以完成任务 。
RAG在第3级有了用武之地，外部数据库通常使用矢量进行语义索引，这就是为什么您最近可能频频听到矢量数据库和矢量搜索工具的新闻 。
具有矢量数据库和矢量搜索的应用程序可以通过对庞大的非结构化数据集（包括文本、图像、视频或音频）进行分类 ， 以实现快速的上下文搜索 。这对于进行更快、更强大的上下文推荐非常有效 。但矢量工具仍未得到广泛应用 。Streamlit的调查发现 ， 仅20%的基于生成式AI的应用程序使用了某种矢量技术 。
3、聊天机器人为用户提供了一种强大的方式来优化查询聊天机器人将生成式AI带入了主流，但有人怀疑将来它们是否会成为一种有效的界面 。有人认为，聊天机器人给了用户太多的自由，却没有足够的背景知识来说明如何使用LLM应用程序 。有人被过去的失败所吓倒：Clippy是一场灾难，为什么聊天机器人今天会成功呢？


推荐阅读


上一篇：如何在Python中使用ChatGPT API处理实时数据

下一篇：为什么 Qt 成为 c++ 界面编程的第一选择