深度解析大模型代码能力现状 _大模型

文章插图
随着人工智能技术的不断发展，大模型在各个领域都有了广泛的应用。在软件工程领域，大模型也被用于辅助代码生成。大模型代码生成工具可以从自然语言提示或部分代码输入中生成代码，极大地提高了软件开发的效率和质量。
目前，已经有许多研究人员和机构开展了大模型代码生成能力的评估研究。这些评估研究为了解大模型代码生成工具的现状和发展趋势提供了重要参考。
本文中，将介绍大模型代码生成最新排行，以及能力评估的常用评估指标和数据集。
大模型代码生成能力的评估指标"Papers with Code" 是一个知名的研究论文和代码共享平台，为学者们提供了一个展示和对比研究成果的平台。其中，HumanEval Benchmark (Code Generation) 部分列出了代码生成领域的最新模型排名。为了深入理解这些排名，我们需要了解其背后的评估指标。
数据集介绍
HumanEval是由AI target=_blank class=infotextkey>OpenAI开发的广泛使用的代码生成基准测试。它涵盖了从简单的字符串操作到复杂的算法设计的多种编程任务。

文章插图
如上图所示，每个任务都包括一个函数签名、注释、主体和几个单元测试。为了确保评估的公正性，这些任务都是手工编写的。在模型训练过程中，模型没有接触过这些具体任务。模型接收的提示以白色背景显示，而模型成功生成的代码部分以黄色背景显示。这样的设计旨在为评估提供一个公正的基准，确保模型在实际应用中的性能与在数据集上的表现是一致的。
数据集特点
1.多样性：HumanEval涵盖了从基础到高级的各种编程任务，确保了模型在各种情境下都能得到充分的评估。
2.实际应用导向：该基准测试的设计考虑了实际的编程需求，从而确保了模型的实用性和实际应用价值。
3.动态更新：随着编程领域的不断进步， HumanEval也会定期更新，加入新的编程任务和挑战，确保其始终保持与时俱进。
评估方法
1.直接生成：评估模型在没有任何先验知识或提示的情况下，直接生成代码的能力。
2.多次尝试：评估模型在多次尝试和修正后的代码生成性能。
3.代码质量：除了代码的正确性，还会评估生成代码的效率、可读性和维护性。
4.算法设计：评估模型在设计和实现复杂算法时的性能。
5.数据结构操作：测试模型在操作如数组、链表、树等常见数据结构时的能力。
6.实际编程场景模拟：模拟真实的编程任务，如数据库操作、网络编程等，来评估模型的实际应用能力。
评估指标
其中，Pass@k是一个核心指标。它衡量的是模型在生成k个样本后至少有一个样本是正确的概率。例如，Pass@1表示模型第一次尝试生成代码时的正确率；Pass@10表示模型在前10次尝试中至少有一次生成了正确的代码；而Pass@100则表示在前100次尝试中，模型至少有一次生成了正确的代码。
大模型代码生成能力的最新排行
基于上述数据集，指标与实验方法，下方列出了代码生成任务的最新模型排名：

文章插图
第一名介绍：
图中根据Pass@1分数从高到低排序，GPT系列位居前列：
Reflexion (GPT-4): 目前在HumanEval上的最佳模型，其Pass@1得分为91.0 。其背后的研究成果为"Reflexion: Language Agents with Verbal Reinforcement Learning" 。这篇于2023年发布的论文探讨了如何通过语言反馈来强化语言代理，而不是通过更新权重。具体来说， Reflexion代理的工作方式是，当完成一个任务并接收到反馈后，它会生成一段关于该反馈的描述或分析。这段反思文本随后被存储在一个特定的“情景记忆缓冲区”中。当代理在后续的任务中遇到类似的情境时，它会回顾这个缓冲区中的反思文本，从而帮助其做出更好的决策。这种独特的方法使Reflexion在多种任务上获得了显著的改进，例如，在HumanEval编码基准测试上达到了91%的pass@1准确率，超过了之前的最新技术GPT-4的80% 。
第二名介绍：
GPT-4: 排名第二，其Pass@1得分为86.6 。相关论文为"OctoPack: Instruction Tuning Code Large Language Models"，发布于2023年，文中探讨了如何通过指令调优来提高大型语言模型（LLMs）在自然语言任务上的性能。研究者采用了一种独特的方法，利用Git提交（commits）的自然结构，将代码更改与人类指令配对，进行指令调优。