跑分达 ChatGPT 的 99%，人类难以分辨！开源「原驼」爆火，iPhone 都能微调大模型了

导读：自动测试分数达到ChatGPT 的 99.3%，人类难以分辨两者的回答……　　这是开源大模型最新成果，来自羊驼家族的又一重磅成员——华盛顿大学原驼（Guanaco）。　　更

　　自动测试分数达到ChatGPT 的 99.3%，人类难以分辨两者的回答……

　　这是开源大模型最新成果，来自羊驼家族的又一重磅成员——华盛顿大学原驼（Guanaco）。

　　更关键的是，与原驼一起提出的新方法QLoRA把微调大模型的显存需求从 >780GB 降低到 <48GB。

　　开源社区直接开始狂欢，相关论文成为 24 小时内关注度最高的 AI 论文。

　　以 Meta 的美洲驼 LLaMA 为基础，得到原驼650 亿参数版只需要 48GB 显存单卡微调 24 小时，330 亿参数版只需要 24GB 显存单卡微调 12 小时。

　　24GB 显存，也就是一块消费级 RTX3090 或 RTX4090 显卡足以。

　　不少网友在测试后也表示，更喜欢它而不是 ChatGPT。

　　英伟达科学家 Jim Fan 博士对此评价为：大模型小型化的又一里程碑。

　　先扩大规模再缩小，将成为开源 AI 社区的节奏。

　　而新的高效微调方法 QLoRA 迅速被开源社区接受，HuggingFace 也在第一时间整合上线了相关代码。

　　GPT-4 做裁判，原驼得分达到 ChatGPT 的 99.3%

　　论文中，团队对原驼总共做了三项测试，自动评估、随机匹配和人类评估。

　　测试数据来自小羊驼 Vicuna 和 Open Assistant。

　　自动评估由大模型天花板 GPT-4 当裁判，对不同模型的回答进行打分，以 ChatGPT（GPT3.5）的成绩作为 100%。

　　最终原驼 650 亿版得分达到 ChatGPT 的 99.3%，而 GPT-4 自己的得分是 114.5%，谷歌 Bard 是 94.8%。

　　随机匹配，采用棋类专业比赛和电子竞技同款的 Elo 记分机制，由 GPT-4 和人类共同做裁判。

　　原驼 650 亿和 330 亿版最终得分超过 ChatGPT（GPT3.5）。

　　人类评估，则是把原驼 650 亿版的回答和 ChatGPT 的回答匿名乱序放在一起，人类来盲选哪个最好。

　　论文共同一作表示，研究团队里的人都很难分辨出来，并把测试做成了一个小游戏放在 Colab 上，开放给大家挑战。

　　这里节选其中一个问题（附中文翻译），你能分辨出哪个是 ChatGPT 回答的吗？

　　问题：How can I improve my time management skills?（如何提高时间管理技能？）

　　（完整测试地址在文末）

　　总的来说，原驼的优势在于不容易被问题中的错误信息误导，比如能指出地球从来没有被科学界认为是平的。

　　以及擅长心智理论（Theory of Mind），也就是能推测理解他人的心理状态。

　　但原驼也并非没有弱点，团队发发现它不太擅长数学，以及容易用提示注入攻击把要求保密的信息从它嘴里套出来。

　　也有网友表示，虽然一个模型能在某个数据集上无限接近 ChatGPT，但像 ChatGPT 那样通用还是很难的。

　　全新方法 QLoRA，iPhone 都能微调大模型了

　　原驼论文的核心贡献是提出新的微调方法QLoRA。

　　其中 Q 代表量化（Quantization），用低精度数据类型去逼近神经网络中的高精度浮点数，以提高运算效率。

　　LoRA 是微软团队在 2021 年提出的低秩适应（Low-Rank Adaptation）高效微调方法，LoRA 后来被移植到 AI 绘画领域更被大众熟知，但最早其实就是用于大语言模型的。

　　通常来说，LoRA 微调与全量微调相比效果会更差，但团队将 LoRA 添加到所有的线性层解决了这个问题。

　　具体来说，QLoRA 结合了 4-bit 量化和 LoRA，以及团队新创的三个技巧：新数据类型 4-bit NormalFloat、分页优化器（Paged Optimizers）和双重量化（Double Quantization）。

　　最终 QLoRA 让4-bit的原驼在所有场景和规模的测试中匹配 16-bit 的性能。

　　QLoRA 的高效率，让团队在华盛顿大学的小型 GPU 集群上每天可以微调 LLaMA 100 多次……

　　最终使用 Open Assistant 数据集微调的版本性能胜出，成为原驼大模型。

　　Open Assistant 数据集来自非盈利研究组织 LAION（训练 Stable Diffusion 的数据集也来自这里），虽然只有 9000 个样本但质量很高，经过开源社区的人工仔细验证。

　　这 9000 条样本用于微调大模型，比 100 万条指令微调（Instruction Finetune）样本的谷歌 FLAN v2 效果还好。

　　研究团队也据此提出两个关键结论：

　　数据质量 >> 数据数量

　　指令微调有利于推理，但不利于聊天

　　最后，QLoRA 的高效率，还意味着可以用在手机上，论文共同一作 Tim Dettmers 估计以iPhone 12 Plus 的算力每个晚上能微调 300 万个单词的数据量。

　　这意味着，很快手机上的每个 App 都能用上专用大模型。

　　论文：

　　https://arxiv.org/abs/2305.14314

　　GitHub：

　　https://github.com/artidoro/qlora

　　与 ChatGPT 对比测试：

　　https://colab.research.google.com/drive/1kK6xasHiav9nhiRUJjPMZb4fAED4qRHb

　　330 亿参数版在线试玩：

　　https://huggingface.co/spaces/uwnlp/guanaco-playground-tgi

　　参考链接：

　　 [ 1 ] https://twitter.com/Tim_Dettmers/status/1661379376225697794

　　 [ 2 ] https://huggingface.co/blog/4bit-transformers-bitsandbytes