ChatGPT 编程准确率暴降 13%！UIUC& 南大新基准让 AI 代码现原形了

导读：用 ChatGPT 写代码，已经是不少程序员的常规操作了。　　△" 至少提速 3~5 倍 "　　但你有没有想过，ChatGPT 生成的代码，有不少只是 " 看起来准确 "

　　用 ChatGPT 写代码，已经是不少程序员的常规操作了。

　　△" 至少提速 3~5 倍 "

　　但你有没有想过，ChatGPT 生成的代码，有不少只是 " 看起来准确 " 而已？

　　来自伊利诺伊大学香槟分校和南京大学的一项最新研究表明：

　　ChatGPT 和 GPT-4 生成代码的准确率，比之前评估的至少要降低 13%！

　　有网友感叹，太多 ML 论文都在用一些有问题或有局限性的基准来评估模型，来短暂地达到 "SOTA"，结果换个测评方法就现出原形了。

　　还有网友表示，这也说明大模型生成的代码仍然需要人工监督，"AI 写代码的黄金时间还没到呢 "。

　　所以，论文提出了一种怎样的新测评方法？

　　给 AI 代码考题加大难度

　　这个新方法名叫EvalPlus，是一个自动化代码评估框架。

　　具体来说，它会通过改进现有评估数据集的输入多样性和问题描述准确性，来将这些评估基准变得更严格。

　　一方面是输入多样性。EvalPlus 会先根据标准答案，用 ChatGPT 生成一些种子输入样例（虽然要测 ChatGPT 的编程能力，但用它生成种子输入似乎也不矛盾 doge）

　　随后，用 EvalPlus 改进这些种子输入，将它们改得更难、更复杂、更刁钻。

　　另一方面是问题描述准确性。EvalPlus 会将代码需求描述改得更精确，在约束输入条件的同时，补充自然语言问题描述，以提高对模型输出的精确度要求。

　　这里，论文选择了 HUMANEVAL 数据集作为示范。

　　HUMANEVAL 是 OpenAI 和 Anthropic AI 一起制作的代码数据集，包含 164 个原创编程题，涉及语言理解、算法、数学和软件面试几种类型的题目。

　　EvalPlus 会通过改进这类数据集的输入类型和功能描述，让编程问题看起来更清晰，同时用于测试的输入更 " 刁钻 " 或是更困难。

　　以其中的一道求并集编程题为例，要求 AI 写一段代码，找出两个数据列表中的共同元素，并给这些元素排序。

　　EvalPlus 用它来测测 ChatGPT 写的代码准确度。

　　首先用几个简单输入进行测试，发现 ChatGPT 能输出正确答案。但如果换个输入，就找出了 ChatGPT 版代码的 bug：

　　属实是给 AI 们加大了考题难度。

　　基于这套方法，EvalPlus 还做了一个改进版 HUMANEVAL+ 数据集，增加输入的同时，修正了一些 HUMANEVAL 里面答案就有问题的编程题。

　　那么，在这套 " 新考题 " 下，大语言模型们的准确率实际上要打几折？

　　LLM 代码准确率平均降低 15%

　　作者们测试了当前比较受欢迎的 10 种代码生成 AI。

　　GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder、StableLM- α。

　　从表格中来看，经过严格测试后，这群 AI 的生成准确率都有所下降：

　　这里会通过一种名叫 pass@k 的方法评估准确率，其中 k 是允许大模型给问题生成的程序数量，n 是用于测试的输入数量，c 是正确的输入数量：

　　根据新的这套评估标准，大模型们的准确率平均下降了 15%，其中比较广泛研究的 CODEGEN-16B 更是下降了超过 18%。

　　至于 ChatGPT 和 GPT-4 生成代码的性能，也下降了至少 13%。

　　不过，也有网友表示，大模型生成的代码效果没那么好，已经是 " 众所周知的事实 " 了，需要研究的是 " 为什么大模型写的代码不能用 "。

　　作者介绍

　　共同一作 Jiawei Liu，伊利诺伊大学香槟分校二年级博士生，研究兴趣是编程系统和深度学习。

　　共同一作 Chunqiu Steven Xia，伊利诺伊大学香槟分校二年级博士生，本科毕业于多伦多大学，研究兴趣是机器学习和软件工程的交叉领域。

　　王宇峣（Yuyao Wang），南京大学计算机科学大三学生，研究兴趣是计算机系统的准确性、可编程性和性能。

　　Lingming Zhang，伊利诺伊大学香槟分校副教授，研究方向是软件工程及其与机器学习、编程语言和形式化方法（Formal Methods）的协同作用。

　　论文地址：

　　https://arxiv.org/abs/2305.01210

　　代码地址：

　　https://github.com/evalplus/evalplus