受人眼启发！科学家开发出新型改良相机

马里兰大学计算机科学家领导的一个研究小组发明了一种照相机装置，可以改善机器人观察周围世界并做出反应的方式。受人眼工作原理的启发，他们的创新型照相机系统模仿了人眼为长期保持清晰稳定的视觉而进行的微小不自主运动。

该团队在《科学机器人》（Science Robotics）杂志上发表的一篇论文详细介绍了这种名为 "人工微停滞增强事件相机"（AMI-EV）的相机的原型设计和测试过程。

论文的第一作者、UMD 计算机科学博士生Botao He说："事件相机是一种相对较新的技术，与传统相机相比，它能更好地跟踪移动物体，但如今的事件相机很难在有大量运动时捕捉到清晰、无模糊的图像。"

"这是一个大问题，因为机器人和许多其他技术，例如自动驾驶汽车，都需要准确及时的图像才能对不断变化的环境做出正确反应。因此，我们扪心自问： 人类和动物如何确保自己的视觉始终聚焦在移动的物体上？

对于贺的团队来说，答案就是微注视，即人在试图集中视线时不由自主地发生的细微而快速的眼球运动。通过这些微小而持续的运动，人眼可以长时间准确地保持对物体及其视觉纹理（如颜色、深度和阴影）的关注。

他说：“我们认为，就像我们的眼睛需要这些微小的运动来保持聚焦一样，相机也可以利用类似的原理来捕捉清晰准确的图像，而不会因为运动而导致模糊。”

研究小组在 AMI-EV 内部插入了一个旋转棱镜，以重新定向镜头捕捉到的光束，从而成功复制了微小运动。棱镜的连续旋转运动模拟了人眼自然发生的运动，使相机能够像人一样稳定所记录物体的纹理。研究小组随后开发了一款软件，用于补偿 AMI-EV 中棱镜的移动，从而从移动的灯光中整合出稳定的图像。

图片:搜狗截图20240704101026.png

新型事件相机系统与标准事件相机系统对比图。

研究报告的共同作者、UMD 计算机科学教授 Yiannis Aloimonos 认为，该团队的发明是在机器人视觉领域迈出的一大步。

我们的眼睛会对周围的世界进行拍照，然后将照片发送到大脑，在大脑中对图像进行分析。感知就是通过这个过程发生的，这就是我们理解世界的方式，马里兰大学高级计算机研究所（UMIACS）计算机视觉实验室主任Aloimonos解释说。他还兼任马里兰大学高级计算机研究所计算机视觉实验室主任，他解释说：“在使用机器人时，可以用摄像头代替眼睛，用计算机代替大脑。更好的摄像头意味着机器人有更好的感知和反应能力”。

研究人员还认为，他们的创新可能会在机器人和国防之外产生重大影响。在依赖精确图像捕捉和形状检测的行业工作的科学家们一直在寻找改进相机的方法，而 AMI-EV 可能是解决他们所面临的许多问题的关键方案。

该论文的资深作者、研究科学家Cornelia Fermüller说：“凭借其独特的功能，事件传感器和 AMI-EV 将在智能可穿戴设备领域占据中心位置。与传统相机相比，它们具有明显的优势，如在极端照明条件下的卓越性能、低延迟和低功耗。这些特性非常适合虚拟现实应用，例如，需要无缝体验以及快速计算头部和身体动作的应用。”

在早期测试中，AMI-EV 能够在各种情况下准确捕捉和显示运动，包括人体脉搏检测和快速移动的形状识别。研究人员还发现，AMI-EV 能够以每秒数万帧的速度捕捉运动，优于大多数常见的商用相机，后者的平均捕捉速度为每秒 30 到 1000 帧。

这种更平滑、更逼真的运动描绘可能被证明在创造更身临其境的增强现实体验和更好的安全监控，以及改善天文学家捕捉太空图像的方式等任何方面都具有关键作用。

Aloimonos说：“我们新颖的摄像系统可以解决许多具体问题，比如帮助自动驾驶汽车识别道路上哪些是人，哪些不是。因此，它有许多大众已经在使用的应用，比如自动驾驶系统，甚至智能手机摄像头。我们相信，我们新颖的摄像系统正在为未来更先进、功能更强大的系统铺平道路。”

相关链接：https://techxplore.com/news/2024-07-scientists-camera-human-eye.html

论文链接：https://dx.doi.org/10.1126/scirobotics.adj8124