上海光机所在光学成像领域深度学习泛化机理研究中取得突破

日前，中科院上海光机所空天激光技术与系统部刘红林副研究员联合香港理工赖溥祥教授、上海理工张大伟教授团队，在厘清深度学习内在机理、攻克模型泛化能力瓶颈方面取得关键性研究突破。相关成果以“Physics-guided dataset homogeneity unlocks universal deep learning generalization in scattering media imaging”为题发表于Advanced Photonics。

深度学习作为一种强大的人工智能工具，已广泛赋能光学成像等诸多研究领域。然而，泛化能力不足、幻觉频发、可解释性差等普遍存在的共性问题，严重限制了其在实际场景中的落地应用。散射成像中，典型的泛化能力不足问题是缺乏跨数据集泛化性，即特定目标数据集训练的网络难以对未知目标预测成像。过往学界普遍认为，网络模拟人脑视觉机制提取图像特征并完成图像重建，据此将泛化能力受限归咎于样本特征覆盖不足，自然而然，数据增强就成为主流优化手段。该方法虽可一定程度上提升跨数据集泛化能力，但效果不稳定，且仅停留在经验化调试层面，始终未能阐明制约模型跨数据集泛化的根本诱因和底层物理机理。

在光学成像领域，。业内另一主流观点认为，神经网络学习了成像系统的映射关系，并基于该映射关系从探测光场分布重建目标图像。这里存在一个悖论，如果网络精准学到了成像系统的真实物理映射，原则上就应该能适配各类目标进行成像，天然具备普适泛化能力，毕竟实际的成像系统并没有倾向于某类目标的主观特性。

围绕对这一悖论，研究团队系统剖析了常规数据集固有属性，并通过多组对照实验证实，网络训练拟合的关系具有强数据依赖性。数据驱动是深度学习的核心优势，但其附带的数据依赖性长期被学界忽视。不同数据集训练出的网络映射，只是成像系统真实物理映射的各种片面近似。研究进一步明确，实现模型逼近系统真实映射的关键，在于保障数据集具备空间均匀性，即目标面上的所有像素点均可平等、充分地参与模型迭代训练。而传统数据集多面向目标识别任务构建，自带特征偏向性，各点权重失衡，违反这一物理约束。研究团队自主构建了符合空间均匀物理原则且无特征结构的散斑图数据集，利用该数据集训练的网络摆脱了目标类型依赖，实现了跨数据集的普适泛化。

该研究首次揭示了深度学习跨数据集泛化能力不足的物理本质，为提升网络泛化性能提供了客观评判标准和科学可行技术路径。同时研究开创了全新深度学习研究范式，推动研究思路从传统的数据主导、算法优先，转向以客观物理规律为核心、物理约束为导向的全新研究体系。此外，该成果也对“网络依靠特征提取完成图像重建” 这一深度学习底层经典假设提出全新审视与学术挑战。

该项目得到了国家自然科学基金、国家重点研发项目的支持。

相关链接：https://doi.org/10.1117/1.AP.8.3.036015