机器人领域出了个「RoboGPT」：一个模型处理不同感官输入，来自谷歌

导读：懒得打扫房间，那就直接交给机器人来做吧。　　现在，这个问题谷歌解决了，他们研究出了适用于机器人领域的 Transformer 模型：RT-1，甚至被人戏称为 RoboGPT

　　懒得打扫房间，那就直接交给机器人来做吧。

　　现在，这个问题谷歌解决了，他们研究出了适用于机器人领域的 Transformer 模型：RT-1，甚至被人戏称为 RoboGPT。

　　△图源：推特 @Jim Fan

　　更重要的是，RT-1 代码已开源！

　　具体原理

　　先来整体看看 RT-1，它执行任务主要依靠的就是：7+3+1。

　　所谓7，是指它的手臂有7 个自由度，分别是 x，y，z，滚动，俯仰，偏航，手爪开口。

　　3是指基础运动的三个维度，即在地面运动时的 x，y，偏航。

　　1则指 RT-1 的整体控制，即切换这三种模式：控制手臂，基础运动，或终止任务。

　　△图源：Everyday Robots

　　而 RT-1 执行任务时，它的底层逻辑还是纯粹的监督式学习，要做好监督式学习，就得具备两个条件：

　　丰富的数据集 和强大的神经结构。

　　首先是数据集，RT-1 是在一个大规模的、真实世界的机器人数据集上进行训练的，可以用 4 个数字来概括：13 万、700+、13、17，分别表示：

　　包括 13 万个片段；

　　涵盖 700 多个任务；

　　使用了 13 个机器人；

　　历时 17 个月。

　　然后就是 RT-1 的结构了，它执行任务的过程如下图所示。

　　然后这些视觉特征会被 Token Learner 模块计算成一组紧凑的 token传递给 Transformer，这使得机器人的推理速度能够提高 2.4 倍以上。

　　接下来Transformer会来处理这些 token 并产生离散化的操作 token，而操作 token 便是一开始说的那个 7+3+1 了。

　　通过控制手臂，基础运动以及模式便能够执行任务了。

　　在执行任务的整个过程中，RT-1 还会以3Hz的频率执行闭环控制和命令操作，直到产生终止操作或用完预先设置的时间步骤数。

　　不过话说回来，既然这个机器人能够执行多任务，那它执行通用任务时的能力到底如何呢？

　　研究人员分别测试了 RT-1 对干扰物数量（第一行）、不同背景和环境（第二行）以及真实场景（第三行）的鲁棒性。

　　并与其他基于模仿学习的基线进行比较，结果如下图所示（第一项为训练期间的表现）。

　　显而易见，在每个任务类别中，RT-1 都明显优于以前的模型。

　　研究团队

　　这个机器人来自谷歌，研究团队的成员也比较庞大，分别来自三个研究团队：

　　首先是Robotics at Google，它是 Google Research 下的一个细分领域团队，目前正在探索 " 如何教机器人可转移的技能 "。

　　并且他们也在不断公开其训练的数据，以帮助推进这一领域的最先进水平。

　　然后是Everyday Robots，它是 X- 登月工厂的一个细分领域团队，和谷歌团队一起工作，目前他们正在制造一种新型机器人，一个可以自学的，可以帮助任何人做任何事情的通用机器人。

　　还有就是 Google Research，它是 Google 公司内部进行各种最先进技术研究的部门，他们也有自己的开源项目，在 GitHub 公开。

　　项目地址：

　　https://github.com/google-research/robotics_transformer

　　论文地址：

　　https://arxiv.org/abs/2212.06817

　　参考链接：

　　https://robotics-transformer.github.io/