深度学习赋能光谱成像

文章来源| LightScienceApplications

作者| Light新媒体

撰稿 | 黄隆钤

近日，来自浙江大学光电学院郝翔研究员团队以"Spectral Imaging with Deep Learning"为题在Light: Science & Applications发表综述论文，对基于深度学习的光谱成像技术进行了梳理，对其各种技术路线进行了原理阐述、研究总结，并整理了当前的光谱成像数据集，概述了可能的未来趋势与挑战。

一、光谱图像

我们平常在显示屏中看到的图像是RGB三色图像，它拥有红绿蓝三个通道，即每个像素的颜色由红绿蓝三种颜色叠加形成。如果把三色图像拓展，变成十色、百色、千色，那么我们对图像色彩的控制与渲染将无比精细。拥有这么多波段的图像便是光谱图像：它有不只三个波段，可以是三十个、甚至上百个。

图1 由9个波段组成的光谱图像示意图

物质的光谱信息可以充分反映其内部的物理结构和化学成分，当图像的波段足够多时，每一处都是一条光谱曲线——反映着该处的结构组成。因此光谱图像不仅反映成像目标的空间特征，还蕴含着其结构、成分特征。因此，除了进行精细的图像渲染外，光谱图像的关键应用在于物质成分分析，广泛应用于遥感、医学检测、食品检测等领域。

二、光谱成像

光谱成像是成像技术和光谱探测技术的结合，主要技术目标是获取光谱图像。传统的光谱成像技术是扫描式的（包括点扫描、线扫描、波段扫描），通过不断移动光谱仪获得每个点的光谱，最终得到一个二维图像。这种扫描式的光谱成像系统体积庞大且速度很慢，饱受诟病。

图2 扫描式光谱成像（从左到右依次为点扫描、先扫描、波段扫描）

随着计算光学的发展，计算光谱成像成为了新的光谱成像方法。该方法通过某些编码，使得隐藏在背后的光谱信息以某种方式进入探测器，最终利用优化算法对光谱图像进行重建。传统的计算光谱成像方法是迭代式的，虽然相比扫描式光谱成像，已经有效减小了系统体积，但是该类方法有着极大的计算负担，常常需要迭代数分钟甚至数小时，且重建准确度较为一般。

巨大的数据计算负担，促使人们思考和寻找更有效的光谱重建算法。近年来，深度学习快速发展，深度神经网络经过良好训练后强大的模式识别和特征提取能力，得到了光谱成像研究人员们的青睐。深度学习方法成为了人们的探索对象，深度学习逐渐赋能光谱成像。

三、深度学习方法

计算光谱成像的过程编码采样系统设计和光谱图像重建，深度学习技术可以应用在该过程中的每一个方面。如何对这些不同的技术进行有效分类，是一个关键问题。综述提出根据光的属性进行分类，即将计算光谱成像系统按照编码方式的不同，分成了振幅编码、相位编码和波长编码。

（1）振幅编码光谱成像

图3 编码孔径系统中的光谱编码过程

振幅编码光谱成像是通过编码孔径系统（CASSI）进行的，利用编码孔径（振幅掩模）和光栅元件对物体进行编码，进而通过压缩感知恢复算法进行光谱重建。基于深度学习的振幅编码光谱成像将压缩感知恢复的迭代算法替换为深度神经网络，通过编解码协同优化、迭代展开神经网络、非训练网络等方法进行高效光谱重建。

（2）相位编码光谱成像

图4 一种相位编码光谱成像系统

相位编码光谱成像通过衍射光学元件（Diffraction Optical Element, DOE）进行，通过设计DOE的二维高度轮廓实现对不同位置的特定相位延迟，从而实现相位编码。相位编码经过菲涅尔衍射影响到不同光谱成分，然后通过对衍射过程进行建模，即可通过算法对原光谱图像进行重建。由于相位编码后衍射计算的复杂性，传统的迭代算法难以对光谱图像实现有效恢复，这一问题在深度学习出现后得到了一定的解决，目前相位编码的光谱恢复主要通过深度神经网络进行。相比振幅编码，相位编码光谱成像拥有光能损失小、系统紧凑等优点。

（3）波长编码光谱成像

波长编码光谱成像则是直接在光谱维度对图像进行编码，可以通过光学滤光片进行。RGB图像就可以看成一种光谱编码。目前主流的波长编码方式有利用现有的RGB或设计光学滤光片，而编码后的光谱重建则多借助深度学习技术。

基于RGB图像的直接光谱重建是非常火热的方向。随着NTIRE 2018和NTIRE 2020光谱重建比赛的召开，许多深度学习技术团队参与进来，大大拓展了现有的深度学习光谱恢复技术。研究人员对深度学习参与的RGB光谱重建和滤光片设计光谱重建进行了分析，将重建方式分为点重建和块重建，以此对每种重建方式进行了介绍。

图5 本课题组提出的编解码协同设计光谱成像技术[1][2] 图源：Advanced Theory and Simulations

基于自定义光学滤光片的波长编码是近年来新兴的光谱成像技术。通过设计宽谱滤光片，可以获得比RGB滤光片更大的编码自由度。再结合有效的深度学习技术，可以实现紧凑、快速、准确的光谱恢复。

四、未来展望

研究人员根据目前的深度学习技术和光谱成像技术，对基于深度学习的光谱成像的未来发展方向提出了一些建议。其中包括数据集的大型化和规范化、大型神经网络的使用（例如Transformer）、引入物体类别等额外信息、解决编解码协同设计过程中的梯度消失问题、使用神经网络架构搜索技术等。

论文信息：

该研究成果以"Spectral imaging with deep learning."为题在线发表在Light: Science & Applications。

Huang LQ., Luo RC., Liu X., et al. Spectral imaging with deep learning. Light Sci Appl 11, 61 (2022).

论文地址：https://www.nature.com/articles/s41377-022-00743-6

参考文献

[1] Song H, Ma Y, Han Y, et al. Deep‐Learned Broadband Encoding Stochastic Filters for Computational Spectroscopic Instruments[J]. Advanced Theory and Simulations, 2021, 4(3): 2000299.

[2] Zhang W, Song H, He X, et al. Deeply learned broadband encoding stochastic hyperspectral imaging[J]. Light: Science & Applications, 2021, 10(1): 1-7.

编辑 | 丁帅

---

编辑：薛定谔的薛定谔