江苏龙网

  1. 主页 > 生活百科 > >

构建更好的基于LLM的应用程序的四大秘诀( 二 )

LLM


很显然，聊天机器人是否合适一方面取决于应用程序的预期用途 。但聊天机器人至少有一个非常有用的优点不容忽视：它们为用户通过流畅的、仿人的界面添加上下文和完善答案提供了一种简单又直观的方式 。
要理解为什么这很强大 ， 不妨想想搜索引擎 。用户通常无法改进搜索引擎查询；比如说，如果结果略有偏差，没有办法告诉搜索引擎“再试一次，但排除关于X的答案”，或者“给y更多的权重” 。这将是一种方便而强大的功能，这也是聊天机器人为LLM应用程序提供的功能 。
调查发现，用Streamlit构建的生成式AI应用程序中28%是聊天机器人，而72%的应用程序通常不允许会话改进 。另一方面，调查显示，这些聊天机器人的每周使用率上升到近40% ， 而非聊天机器人应用程序的使用率有所下降 。因此，聊天机器人可能是最终用户青睐的界面 。
4、考虑GPT的替代方案，包括开源LLM基本的GPT模型仍然是最知名的LLM ， 它们功能非常强大，但在过去的一年里出现了更多的选择，其中一些可能更适合您的应用程序 。需要考虑的因素包括：LLM所需的知识广度、LLM的规模、您的训练要求和预算，以及LLM是开源还是专有对您来说是否重要 。与科技界的许多方面一样，这里也存在取舍 。
如果您在构建一个供内部使用的生成式AI应用程序，可能需要使用内部企业数据来训练该LLM 。对于大多数企业来说，出于安全原因，与公共LLM共享敏感数据是不可能的，因此许多公司在现有的云安全边界内运行LLM，这常常导致它们选择比较小的LLM，比如AI21和Reka 。
非常庞大的LLM还往往有更高的延迟，由于所需的计算资源，通常运行成本更高 。如果应用程序执行比较简单的任务，比如翻译文本或总结文档，较小的LLM可能效果很好 ， 使用和操作成本显著降低 。
您也可能有理由偏爱开源LLM ， 比如Meta的LLaMA，而不是像OpenAI、Anthropic或Cohere这样的专有LLM：在专有LLM中 ， 源代码、训练数据、权重或模型的其他细节通常不会公开披露 。开源LLM需要自托管或通过托管提供商进行推理，但是源代码及模型的其他细节更容易获得 。
5、写在最后：现在就开始使用生成式AI生成式AI仍然是迅速崛起的领域，但所需的工具和技术在迅速发展，今天有很多选择可以开始入手 。抓住这个机会的开发人员可以为所在组织提供巨大的价值，将AI应用程序作为日常业务运营和任务的一项常规功能 。随着生成式AI继续重塑组织中的角色和责任，依赖并精通基于LLM的应用程序的开发人员将脱颖而出，上述建议将帮助您开始迈出正确的第一步 。
原文链接：https://thenewstack.io/4-key-tips-for-building-better-llm-powered-Apps/




推荐阅读


上一篇：如何在Python中使用ChatGPT API处理实时数据

下一篇：为什么 Qt 成为 c++ 界面编程的第一选择