清华大学突破智能光计算训练难题

清华大学电子工程系方璐教授课题组自动化系戴琼海院士课题组另辟蹊径首创了全前向智能光计算训练架构，研制了“太极-II”光训练芯片，实现了光计算系统大规模神经网络的高效精准训练，该研究成果以“光神经网络全前向训练”为题，发表于《自然》期刊上。 ZJR{c5TE  
Nature审稿人在审稿评述中指出“本文中提出的想法非常新颖，此类光学神经网络（ONN）的训练过程是前所未有的。所提出的方法不仅有效，而且容易实现。因此，它有望成为训练光学神经网络和其他光学计算系统的广泛采用的工具。” {W `/KU?u  
巧用对称，助力光计算摆脱GPU依赖 !p0FJ].g,  
近年间，具有高算力低功耗特性的智能光计算逐步登上了算力发展的舞台。通用智能光计算芯片“太极”的问世便是其中的一个缩影，它首次将光计算从原理验证推向了大规模实验应用，以160TOPS/W的系统级能效为大规模复杂任务的“推理”带来了曙光，但未能够释放智能光计算的“训练之能”。 RL)'m  
相较于模型推理而言，模型训练更需要大规模算力。然而，现有的光神经网络训练严重依赖GPU进行离线建模并且要求物理系统精准对齐。正因如此，光学训练的规模受到了极大的限制，光高性能计算的优势仿佛被禁锢在无形的枷锁之中。 _r^&.'q  
在这个时候，方璐、戴琼海课题组找到了“光子传播对称性”这把钥匙，将神经网络训练中的前向与反向传播都等效为光的前向传播。 ^QYI`u`4  
据论文第一作者、电子系博士生薛智威介绍，在太极-II架构下，梯度下降中的反向传播化为了光学系统的前向传播，光学神经网络的训练利用数据-误差两次前向传播即可实现。两次前向传播具备天然的对齐特性，保障了物理梯度的精确计算。如此实现的训练精度高，便能够支撑大规模的网络训练。 Ir0er~f+z  
由于不需要进行反向传播，太极-II架构不再依赖电计算进行离线的建模与训练，大规模神经网络的精准高效光训练终于得以实现。 _`D760q}