来玩！电脑端的手势姿态估计，隔空写字、绘图，有摄像头就行

导读： 来玩！电脑端的手势姿态估计，隔空写字、绘图，有摄像头就行 机器之心报道编辑：杜伟、陈萍有了这个项目，大家终于可以亲身体验一把人体姿态估计成像的神奇之处了！在

　　网友提问：

　　 来玩！电脑端的手势姿态估计，隔空写字、绘图，有摄像头就行

　　优质回答：

　　机器之心报道

　　编辑：杜伟、陈萍

　　有了这个项目，大家终于可以亲身体验一把人体姿态估计成像的神奇之处了！

　　在 CV 领域，人体姿态估计（human pose estimation）利用目标检测模型和姿态估计模型来识别出人体各个关节的位置和网格，并已在动作识别、动画、游戏、运动捕捉系统中有着广泛的应用。

　　但遗憾的是，人体姿态估计常常见诸于学术研究中，普通读者很难亲身体验它的神奇成像效果。

　　近日，机器之心在 GitHub 上发现了一个有趣的项目「air-drawing」，作者创建了一个利用深度学习的工具，使你在配有摄像头的电脑端可以获得自己的手势姿态估计成像图。

　　项目地址：https://github.com/loicmagne/air-drawing

　　此外，作者使用的深度学习模型还可以预测「向上」或「向下」的手势动作。动态效果展示图如下：

　　在网友表达惊喜的同时，也有人提出了自己的疑惑。项目作者在 reddit 上对部分网友的的疑问进行解答，我们列举其中一部分。

　　有网友表示，这是一个不错的项目，并有疑问—— RNN 是从头开始训练的，还是在预训练模型的基础上进行微调的？

　　作者表示：「模型是从头开始训练的，但使用预训练模型可能是一个不错的建议。」

　　还有网友提问：「预测是实时的吗？那样的话，这将是一个真正的魔法。」

　　作者表示，预测是实时的。但遗憾的是，实时性能不是很好，所以必须使用双向 LSTM。

　　还有网友建议「使用 transformer 可以获得更好的性能」。

　　对于这个建议，作者表示自己曾尝试过自注意力层，但是结果并不理想。如果有一个更大数据集的话，采用 transformer 效果会更好。

　　参考链接：

　　https://www.reddit.com/r/MachineLearning/comments/pmqtj9/p_using_deep_learning_to_draw_and_write_with_your/

　　走近全球顶尖实验室：起源人工智能研究院（IIAI）第二季

　　9 月 13 日 19:00-21:00，走近起源人工智能研究院（IIAI）第二季开播，三位来自 IIAI-CV&Med Team member 的嘉宾将分享最新工作进展。

　　直播将在机动组视频号进行，欢迎大家预约。

　　本次直播由于时间原因不设 QA 环节，欢迎加入本次直播交流群探讨交流。

　　 THE END

　　转载请联系本公众号获得授权

　　投稿或寻求报道：content@jiqizhixin.com