高分辨率“透视”系统问世！斯坦福团队用普通器件解决光学难题
“这些属性可以支持一些原本不可能运行的应用程序，比如在行驶时读取隐藏的非视距的车牌，或者读取在拐角另一侧的行人身上戴的工作牌。”论文一作、斯坦福大学博士后研究员 Christopher Metzler 说。 f#}P>,TP
H4 p N+
[attachment=98218] {j O:9O @
图 | 该系统可能有一天会让自动驾驶汽车有更犀利的视觉，不仅能看到车辆，还能读取车牌（来源：Felix Heide, Princeton University） V`qHN M/t
近日，由他带领的来自斯坦福大学、普林斯顿大学等四所大学组成的研究团队在 optica 发表了一项研究成果，称其利用深度学习算法，开发了一种新的基于激光的系统，只需搭配普通相机和一个功能强大的标准激光源，该系统就可以实现快速高分辨率对隐藏物体进行成像。 f(!:_!m*
rdZk2\ <
通过深度学习算法，利用普通的市售器件就能解决复杂的光学难题，这将对自动驾驶等领域产生极大的影响。有报道称，它或许可以被安装在卫星和航天器上，用来捕捉小行星上洞穴内的图像。 nylrF"'e
3tY \0y9
[attachment=98217] |LA@ guN
图 | 实验设置。光从激光器，到虚拟光源，到隐藏的物体，到虚拟探测器，最后到相机（来源：论文） U;p" x^U`
论文作者在文中表述，他们验证了基于 deep-inverse correlography 的算法对噪声具有非常强的鲁棒性，在空间分辨率和总捕获时间方面都远远超过了现有 NLoS（non-line-of-sight，非视距）系统的能力。 }bIbMEMn
gB b+Q,
Metzler 表示，此设备的设计初衷是用极高的分辨率对小物体进行成像，但它也可以与其他成像系统相结合，产生低分辨率、房间大小的重建图像。 5:v "^"S z
NF+ ^
研究人员在试验中，利用距离墙壁约 1 米的成像装置，对隐藏在墙角后方的高 1 厘米的字母和数字进行了图像重建。在四分之一秒的曝光时间，新技术可以获得分辨率为 300 微米的重建图像。 %_C!3kKv ~
W,dqk= n
[attachment=98216] 78&(>8@m
图 | 不同曝光时长的模拟和重建实验。由于该方法对噪声的鲁棒性更强，因此与依赖 HIO 或 Alt-Min 等传统 PR 算法的系统相比，基于卷积神经网络（ Convolutional neural networks,CNN） 的方法可以在更少的光线下运行，并获得更高的帧速率。（来源：论文） {#"[h1
此前，麻省理工学院计算机视觉科学家拉梅什 · 拉斯卡尔（Ramesh Raskar）采用“主动成像”（active imaging）的方法，使用昂贵的专业相机 - 激光系统，实现对拐角处场景的高分辨率成像，用纳米超高速相机探测从墙壁反弹回来的光子，从而实现三维图像细节的逆向重建。 >KXSb@
^x(BZolkm
但需要重视的是，除了需要使用专业相机之外，这种方式必须用激光扫描整个墙壁才能形成三维图像，整个成像过程光设备就耗资 50 万美元。直到 2018 年 3 月，新的算法以及相对经济实惠的 SPAD 相机出现，才使得这种方式削减一部分成本。 !\w@b`Iv8
' k[d&sR
“2012 年以来，飞行时间成像技术（time-of-flight imaging）的主要进步体现在，原先需要百万美元建造的系统，现在只需要数千美元。”联合作者 Richard Baraniuk 说。 `Mx&,;x
gE2k]`[j]
[attachment=98215] F;$z[z
图 | 在主动非视距成像中，激光在墙壁上反射到隐藏物体上并进一步散射，然后经过墙壁再次反射返回初始位置（来源：Stanford Computation Imaging Lab） t@(S=i7}-
飞行时间成像技术原理是，来自高速激光的光线从墙上反射到隐藏区域的物体上，其中一些光线会反射回墙壁再反射回相机，通过测量返回光子的飞行时间，可以判断飞行距离进行粗略成像。 2k}~"!e1
l%XuYYQ
Deep-inverse correlography 则是寻找墙上的干涉图样，也就是所谓的散斑图（speckle pattern）。散斑图包含着隐藏物体的形状信息，但重建完整图案需要解决极具挑战性的算法问题。短时曝光可以实现实时成像，但是噪声很多，会严重干扰现有算法。因此，该团队才想到了利用深度学习算法。
'Vq_/g!?1
[~e{58}J|
与其他 NLoS 成像方法相比，深度学习算法可以通过准确地描述噪声，合成数据训练算法来解决重建问题，而不需要昂贵的试验训练数据。 r5y p
j T^
9>,$q"M }?
[attachment=98214] Xm,w.|dx
图 | 研究人员在试验中，利用距离墙壁约 1 米的成像装置，对隐藏在墙角后方的高 1 厘米的字母和数字进行了图像重建。使用四分之一秒的曝光时间，新技术可以获得分辨率为 300 微米的重建图像（来源：Rice University） 6t @kft>Nv
联合作者 Ashok Veeraraghavan 说：“因此，我们正在讨论的是一个比飞行时间成像技术小得多的视野，这个视野接近几英寸而不是几米，但是，在这个有限的领域内，我们能够获得比它精确 100 倍的空间分辨率。” ajB4 Lj,:r
_0^f
接下来，研究人员计划把飞行时间成像技术和 deep-inverse correlography 相结合。“通过飞行时间技术，你可以获得一张粗略的图像，显示人在哪里，一旦你定位到了他们的胸牌或者脸，之后可以利用这项技术再得到一个超高清的局部图像。” eT 8(O36%
D >ax<t1K
该技术属于 DARPA（美国国防高级研究计划局，Defense Advanced Research Projects Agency）“揭露计划”（REVEAL program）的一部分。该计划耗资 2700 万美元，旨在通过活跃光场的开发，革命性地提高能见度。该项目为许多美国新成立的实验室提供资金。 n<RvL^T=
a&oz<4oT
（来源：DeepTech深科技）
|