科学家推出使用单台相机的可穿戴式动作捕捉技术

通常情况下，动作捕捉系统仅限于一个包含多台摄像机的工作室，并且要求拍摄对象穿上装有传感器的服装。然而，一种新的设置是基于一个单一的胸前安装的摄像头。该实验系统被称为MonoEye，由东京工业大学的一个团队设计。该团队由Hideki Koike教授领导，并与卡内基梅隆大学的研究人员合作。

它包含一个装有超广角镜头的照相机，戴在拍摄对象的胸前。通过280度的视场角，该摄像头不仅能拍摄到被拍摄对象前方的环境，还能拍摄到他们的手臂、腿部和面部。

图片:搜狗截图_2020-10-22_12-10-45.png

通过三个特别设计的深度神经网络对视频进行分析，分别估计出被拍摄对象的三维身体姿势、头部姿势以及摄像头在周围环境中的方位。这些数据被用来建立主体的动画线框计算机模型，复制他们的动作。

到目前为止，MonoEye的神经网络已经在一个由68万张不同体型和尺寸的人进行各种活动的渲染数据集上进行了训练，所以在系统优化用于物理身体之前，还需要做一些工作。

不过最终，人们希望这项技术可能会被改进成像领带夹或胸针一样小巧的东西。然后，它可以作为传统动作捕捉系统的一个更便宜、更简单的替代品。

这项研究将在本周通过第33届ACM用户界面软件和技术在线研讨会发表。