江苏龙网

  1. 主页 > 生活百科 > >

LLM 大型语言模型技术精要，不看亏了( 二 )

LLM


对于训练LLM模型所需的数据量 ， 研究表明，对于语言学知识来说 ， 使用1000万到1亿单词的语料就足够了，但要学习事实类知识，则需要更多的训练数据 。随着训练数据量的增加 ， 预训练模型在各种下游任务中的效果也会越好 。因此，从增量的训练数据中学到的更多是世界知识 。
LLM模型将知识存储在Transformer的模型参数中 。模型参数由多头注意力（MHA）和前馈神经网络（FFN）两部分组成 。MHA主要用于计算单词或知识之间的相关强度 ， 并对全局信息进行集成 。而FFN部分存储了具体的知识 。一种观点认为 ， FFN可以看作是一个存储大量具体知识的Key-Value存储器 。FFN的第一层是Key层，用于识别输入中的语言或知识模式 。第二层是Value层 ， 用于存储与Key层对应的具体知识 。FFN的输入层是通过Self Attention得到的整个输入句子的整体信息 。FFN的正向传播过程可以看作是通过Key层检测知识模式，然后取出对应的Value，并体现在输出上 。

LLM 大型语言模型技术精要，不看亏了

文章插图
图片
修正LLM模型中存储的知识有几种方法 。一种方法是从训练数据的源头进行修正 。通过追踪某条知识对应的训练数据源头 ， 可以删除相关的数据源，然后重新预训练整个LLM模型 。另一种方法是对LLM模型进行fine-tuning，根据新知识构建训练数据，让LLM模型在这个数据上进行fine-tuning 。还有一种方法是直接修改LLM模型参数中存储的知识 。这些方法都有各自的优缺点，需要根据具体情况选择合适的方法 。
随着LLM模型规模的增大 ， 对于预训练阶段来说 ， 增加训练数据量和模型参数规模是提高模型效果的关键 。研究表明，同时增加训练数据量和模型参数规模效果最好 。此外，随着模型规模的增大，LLM在不同类型的任务上表现也有所不同 。对于知识密集型任务，随着模型规模增大，任务效果越来越好 。对于某些任务，随着模型规模的增大 ， 任务效果呈现出U形增长曲线 。对于一些任务，LLM具备一种"涌现能力"，当模型规模足够大时，任务效果突然出现性能增长 。这些现象都需要进一步深入研究 。
In Context Learning和Instruct是两种不同的任务描述方式 。In Context Learning是通过给出具体示例来描述任务 ， 而Instruct是一种更抽象的任务描述方式 。目前的研究表明，LLM可以从给定的示例中学习到Instruct的描述 ， 但是关于LLM是如何实现这种学习的，目前还没有确切的答案 。
在增强LLM的推理能力方面，目前的研究主要集中在两个方向 。一种是基于Prompt的方法，通过合适的提示语或示例来激发LLM的推理能力 。另一种是在预训练阶段引入程序代码，以增强LLM的推理能力 。这两种方法可以互相补充，但从长远来看，增加训练数据的多样性和引入代码参与预训练是更为重要的 。
基于Prompt的方法在激发LLM模型推理能力方面有着重要作用 。可以将其分为三条技术路线 。
第一种思路是在问题上追加辅助推理Prompt 。这种方法简单直接 ， 但在众多领域都很有效 。具体做法是在问题前追加提示语，例如"Let’s think step by step"，然后将LLM的输出与问题拼接 ， 再追加提示语"Therefore, the answer is" ， 这样可以大幅增加LLM在各项推理任务中的效果 。
第二种思路是基于示例的思维链（Chain of Thought）Prompting 。这个方向是LLM推理研究的主要方向 。通过给出人工编写的推理示例，详细描述每个推理步骤，让LLM模型学会推理 。这种方法可以显著提升LLM模型的推理能力 。
第三种思路体现了一种分治算法的思想 。将复杂的推理问题分解成若干容易解决的子问题，然后逐步解决子问题 ， 最终推导出整个问题的答案 。这种思路类似于分治算法，可能是揭示问题本质、解决LLM复杂推理问题的道路 。
此外，加入代码预训练可以显著增强LLM模型的推理能力 。通过在预训练过程中加入代码数据，可以提升LLM模型在推理任务中的表现 。这可能是因为代码数据中包含了数学类或逻辑推理类的数据，对解决下游数学推理问题有帮助 。
总体而言，LLM模型具备推理能力，只是我们需要合适的方法来激发它 。未来的研究可以集中在增强LLM的复杂推理能力、探索LLM在NLP之外领域的应用、改进人机交互接口、构建高难度的综合任务评测数据集等方向 。此外 ， 还可以研究如何提高LLM模型的训练效率，如稀疏化模型等技术选项 。


推荐阅读


上一篇：开发微服务的九个最佳实践

下一篇：Python使用VTK系列之安装指南