南昌大学提出物理模型驱动的实时智能三维全息摄影

研究背景

三维显示相较于二维显示可以提供更加丰富的信息，对真实世界场景进行实时三维重建作为元宇宙和物联网领域的关键技术有着广阔的应用前景。全息三维显示被认为是一种理想的三维显示方案，提升三维全息图的计算速度和重建质量可以为实时三维重建提供坚实的支持。目前用于实现真实场景的全息三维重建的方法面临成像质量低、速度慢。因此，如何连续获取真实世界场景的三维信息并进行快速且高质量的全息三维重建是值得研究的问题。

导读

南昌大学成像与视觉表示实验室研究团队提出了一种由物理模型和人工智能驱动的真实世界场景的实时智能三维全息摄影系统，实现真实世界场景的高质量全息三维重建。该成果以“Real-time intelligent 3D holographic photography for real-world scenarios”为题发表于光学领域顶级国际期刊Optics Express。

主要研究内容

研究团队利用深度相机获取真实场景的三维信息，采用层析法将其划分为30层。利用卷积神经网络（CNN）构建强度图和深度图到计算全息图（CGH）的映射。利用角谱算法的可微性实现CNN的自监督训练，使用复合损失函数计算重建图像与目标图像的损失以优化网络参数。训练好的CNN可以在14.5 ms内根据输入的强度图和深度图生成1024 1024的三维全息图。CGH被加载到空间光调制器上进行显示，可以用肉眼观察到具有明显深度变化的三维重建结果，所提系统的原理图和实物图如图1所示。

 

图1. 所提系统的原理图和实物图。

所提卷积神经网络的训练流程图如图2所示。训练过程中，网络输入包含三维场景信息的强度图和深度图到Net1进行编码，Net1由Unet架构实现并输出目标振幅和相位场。使用角谱算法将目标振幅和相位场向前传播z0，得到全息平面的振幅和相位场。之后，将全息平面的振幅和相位场输入Net2并生成全息图，Net2由一个全卷积残差网络实现。使用角谱算法将全息图随机重建到三维物体的一层，计算并最小化重建图像与目标图像的损失。通过反向传播更新Net1和Net2的参数。训练中使用了由均方误差损失和感知损失组成的复合损失函数。

 

图2. 所提卷积神经网络的训练流程图。