切换到宽版
  • 广告投放
  • 稿件投递
  • 繁體中文
  • 清华大学与中科院团队合作开发新型智能显微成像技术

    作者:佚名 来源:清华大学 时间:2023-03-22 11:42 阅读:644 [投稿]
    提出了一套合理化深度学习显微成像技术框架,将光学成像模型及物理先验与神经网络结构设计相融合,合理化网络训练、预测过程,从而实现了高性能、高保真的显微图像去噪与超分辨重建。

    近日,清华大学自动化系、清华大学脑与认知科学研究院、清华-IDG/麦戈文脑科学研究院戴琼海课题组,联合中国科学院生物物理研究所李栋课题组、美国霍华德休斯医学研究所(HHMI)詹妮弗·利平科特-施瓦茨(Jennifer Lippincott-Schwartz)博士提出了一套合理化深度学习(rationalized deep learning,rDL)显微成像技术框架,将光学成像模型及物理先验与神经网络结构设计相融合,合理化网络训练、预测过程,从而实现了高性能、高保真的显微图像去噪与超分辨重建,并结合实验室自主研发、搭建的多模态结构光照明显微镜(Multi-SIM)与高速晶格光片显微镜(LLSM),将传统超分辨活体成像速度与时程提升30倍以上,实现了当前国际最快(684Hz)、成像时程最长(最长可达3小时、60,000时间点以上)的活体细胞成像性能,首次对高速摆动纤毛(>30Hz)中转运蛋白(IFT)的多种运输行为以及完整细胞分裂过程中核仁液液相分离(liquid-liquid phase separation)过程进行快速、多色、长时程、超分辨观测。


    图1.合理化深度学习超分辨显微成像技术文章封面与神经网络架构

    具体而言,研究团队提出的合理化深度学习结构光超分辨重建架构(rDL SIM)不同于现有超分辨神经网络模型的端到端(end-to-end)训练模式,而是采用分步重建策略,首先利用所提出的融合成像物理模型和结构光照明先验的神经网络对原始SIM图像进行去噪和高频信息增强,然后再通过经典解析算法进行SIM重建以获得最终的超分辨图像。相比于该团队去年在《自然·方法》(Nature Methods)期刊上提出的傅立叶注意力超分辨重建神经网络模型(DFCAN/DFGAN),合理化深度学习超分辨成像技术可将超分辨重建结果的不确定性降低3~5倍,并实现更高的保真度和重建质量;相比于其他去噪算法,该方法可完美恢复出调制在原始图像中的莫尔条纹,并将高频信息增强10倍以上。

    此外,针对晶格光片显微镜、共聚焦显微镜等宽场照明或点扫描成像模态,研究团队提出了一种可学习的傅立叶域噪声抑制模块(FNSM),该模块可以利用光学传递函数信息对显微图像中的噪声进行自适应滤除。然后,他们以此构建了嵌入傅立叶域噪声抑制模块的通道注意力去噪神经网络架构,并基于显微成像数据本身的时空连续性,提出了时空交织采样自监督训练策略(TiS/SiS-rDL),无需额外采集训练数据、亦无需保证时序数据具有时间连续性,即可实现媲美监督学习效果的去噪神经网络的训练,解决了实际生物成像实验中高质量训练数据难以获取的难题。


    图2.合理化深度学习超分辨显微成像方法应用概览

    分享到:
    扫一扫,关注光行天下的微信订阅号!
    【温馨提示】本频道长期接受投稿,内容可以是:
    1.行业新闻、市场分析。 2.新品新技术(最新研发出来的产品技术介绍,包括产品性能参数、作用、应用领域及图片); 3.解决方案/专业论文(针对问题及需求,提出一个解决问题的执行方案); 4.技术文章、白皮书,光学软件运用技术(光电行业内技术文档);
    如果想要将你的内容出现在这里,欢迎联系我们,投稿邮箱:service@opticsky.cn
    文章点评