你只管提需求,大模型解决问题:图表处理神器 SheetCopilot 上线
导读:机器之心专栏 机器之心编辑部 各位表格大师终于可以跟那些繁琐的手动操作说再见了!近日,一款名叫 SheetCopilot 的智能体横空出世,让每个人只需要发号施令就可实
机器之心专栏
机器之心编辑部
各位表格大师终于可以跟那些繁琐的手动操作说再见了!近日,一款名叫 SheetCopilot 的智能体横空出世,让每个人只需要发号施令就可实现流畅的表格操控。
这种丝滑的操作流程简直是职场人的福音!
网站:https://sheetcopilot-demo.github.io/
论文:https://arxiv.org/abs/2305.19308
让我们首先通过以下示例来感受 SheetCopilot 如何显著提升工作效率。
假如你是一个刚入职小白,有一天老板要求你帮他分析销售数据。你拿到表格一看,上千行的数据眼花缭乱,一时不知从何下手,于是你边查边做。
首先,你尝试采用把各 Product 名称提取出来,然后用公式对各 Product 的收入求和。
不仅如此,相比于晦涩的 VBA 代码,SheetCopilot 生成的解决方案包含通俗易懂的步骤,这免去了学习新编程语言并艰难调试的痛苦。
左图:冗长的 VBA 代码;右图:SheetCopilot 简单易懂的解决方案。
3. 舒适的使用体验
SheetCopilot 在网络连接稳定的情况下,仅需约 10 步多表组合操作,即可在上千行数十列的表格中快速完成任务。这不仅解放了用户疲惫的双眼,还节省了查找网站并逐个尝试操作步骤所浪费的时间,同时也避免了学习 VBA 的成本。
方法原理
这篇文章将表格操控所需的核心功能抽象为一组虚拟 API(称为原子操作,见下图),用于生成解决方案,作为 LLM 与应用软件之间交互的桥梁。
最简单的方法是对 LLM 的一次查询(query)生成一个任务的所有步骤。然而,随着任务复杂度的增加,后序步骤更加依赖前序步骤的执行结果,导致这种开环控制难以得到正确结果。例如,如果无法确定筛选后可见数据的位置,LLM 就难以确定操作范围。
为了实现高效的闭环控制,SheetCopilot 根据软件状态反馈和外置原子操作知识库优化解决方案,提升了成功率和效率。
如何评测
该文提出了一个高质量评测基准。该基准的任务具有多样化的表述,并涉及丰富的原子操作,如下面词云所示:
此基准采用了如下有关成功率的指标(越高越好):
Exec@1:生成的任务解决方案的执行成功率。
Pass@1:任务通过率,即执行后能匹配上任意参考答案的解决方案的占比。
此基准还考虑如下效率指标(越低越好):
A50:将符合任务要求的解决方案的步数除以参考答案最少步数,然后对所有计算结果取中位数。
A90:计算方式同上,但取所有计算结果的 90 分位数。该指标反映动作数的极值分布。
实验结果
表 1:在 SheetCopilot 数据集上对比 GPT-3.5-Turbo、GPT-4、Claude 以及生成 VBA 的方法。
不出意料,GPT-4 符合任务要求的解决方案占比最高且效率最优,而 GPT-3.5-Turbo 则紧随其后,Claude 最次但也接近 GPT-3.5-Turbo。
一个值得关注的结果是,与将用户指令翻译成 VBA 代码并在 Excel 上执行的方法对比,SheetCopilot 取得了非常出色的成功率。这意味着 SheetCopilot 让软件智能控制离我们又近了一大步,让不会编程的用户能以日常交流的方式指挥计算机完成繁杂的工作。
我们再通过下面各个细分类别上的指标来看一看这三个 LLM 各自的优缺点。
GPT-3.5 和 GPT-4 轻而易举地解决了 Management(排序、筛选等表格管理操作)和 Entry &manipulation(数据输入与操纵)这两类任务,均取得了 100% 可执行率。此外,三个 LLM 在不同任务类别中各自表现出最佳效率,这一有趣的发现表明每个 LLM 都有其独特的优势,GPT-4 也难以完胜其它模型。
结语
SheetCopilot 借助 LLM 成功地将感知、推理和决策通过文字接口构成了一个闭环,实现高效的电子表格操控,促进智能软件控制更上一层楼,也为对通才智能体感兴趣的研究者带来了新的灵感。
THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
版权声明:本文部分来自互联网,由小编精心所写,本文地址:http://www.zhubian88.cn/smbk/91144.html,如需转载,请注明出处!