【光电智造】计算光学成像：何来，何处，何去，何从？

来源:今日光电发布时间:2023-01-151452浏览

今日光电

有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。欢迎来到今日光电！

----与智者为伍为创新赋能----摘要：计算光学成像是一种通过联合优化光学系统和信号处理以实现特定成像功能与特性的新兴研究领域。它并不是光学成像和数字图像处理的简单补充，而是前端（物理域）的光学调控与后端（数字域）信息处理的有机结合，通过对照明、成像系统进行光学编码与数学建模，以计算重构的方式获取图像与信息。这种新型的成像方式将有望突破传统光学成像技术对光学系统以及探测器制造工艺、工作条件、功耗成本等因素的限制，使其在功能（相位、光谱、偏振、光场、相干度、折射率、三维形貌、景深延拓，模糊复原，数字重聚焦，改变观测视角）、性能（空间分辨、时间分辨、光谱分辨、信息维度与探测灵敏度）、可靠性、可维护性等方面获得显著提高。现阶段，计算光学成像已发展为一门集几何光学、信息光学、计算光学、现代信号处理等理论于一体的新兴交叉技术研究领域，成为光学成像领域的国际研究重点和热点，代表了先进光学成像技术的未来发展方向。本文概括性地综述了计算光学成像领域的历史沿革、发展现状、并展望其未来发展方向与所依赖的核心赋能技术，以求抛砖引玉。关键词: 计算成像；计算摄像；光学成像；光学传感0引言上帝说要有光，于是便有了光；光学“optics”一词源自古希腊字“ὀπτική”，意为 “看见”、“视见”。三千年前，古埃及人与美索不达米亚人第一次将石英晶体磨光制成宁路德透镜（Nimrud lens），这翻开了人类光学成像历史的第一页[1]。时光流转，如今我们手持搭载潜望式长焦镜头与人工智能算法的智能手机就能拍摄皎洁白月与绚丽星空[2]。现如今，人类享受着光学成像技术带来的多姿多彩的绚丽生活，也一直在为了看得“更远、更广、更清晰”这个永无止境的目标前赴后继。由于视觉是人类获得客观世界信息的主要途径，据估计人类感知外界信息有80%是来自于视觉。而人眼由于受限于视觉性能，在时间、空间、灵敏度、光谱、分辨力等方面均存在局限性。光学成像技术利用各种光学成像系统，即获取客观景物图像的工具，如显微镜、望远镜、医疗CT、手机摄像机和照相机等（见图1），实现光信息的可视化，同时延伸并扩展人眼的视觉特性。

图1. 常见的光电成像系统一个典型的光学成像系统主要由光源、光学镜头组、光探测器三部分组成。光学镜头将三维场景目标发出或者透/反/散射的光线聚焦在表面上，探测器像素和样品之间通过建立一种直接的一一对应关系来获取图像，光场的强度由光探测器离散采集并经过图像处理器数字化处理后形成计算机可显示的图像，整个过程如图2所示。这种“所见即所得”的成像方式受强度成像机理、探测器技术水平、光学系统设计、成像衍射极限等因素限制以及单视角、相位丢失、光谱积分、二维平面成像等因素的制约，导致高维度样品信息的缺失或丢失。此外光学镜头组通常需要和光学镜片、镜筒、光圈以及调焦系统等部件配合使用以获得清晰的图像，大大增加了成像装置的体积和复杂度。

图2. 传统光学成像系统的成像过程

光学成像技术的出现延伸并扩展人眼的视觉特性，其以成像分辨率（时间、空间、光谱）的提高、成像维度的拓展、探测灵敏度的提升作为技术发展目标（图3）。受当今电子信息时代的影响，高性能、低成本、体积小、重量轻的光学成像系统越来越受到广泛的重视与需求。商用相机和手机摄像头因其光学系统结构小巧，价格低廉，已成为人们不可或缺的日常用品。然而传统光学成像系统因受强度成像机理、探测器技术水平、光学系统设计、成像衍射极限等因素制约，在空间分辨、时间分辨、光谱分辨、信息维度与探测灵敏度等方面仍存在一定局限性。随着人们对成像系统功能与性能的不断追求，以及军用和民用领域日益增长的高分辨、高灵敏度以及多维高速成像的应用需求，也对光学成像技术提出了更具挑战性的要求：例如在显微成像领域，一方面需要显微成像系统能够对无色透明的生物细胞组织实现无标记、多维度、高分辨、宽视场成像观察，另一方面需要显微成像系统能够小型化便携式，以满足当今迅速增长的即时检验与远程医疗的应用需求。在空间科技领域，同样需要光学成像系统不断减小重量和体积，以节省运载空间或降低运载成本。

在工业制造领域，需要视觉检测仪要能够实现高精度、高分辨、高速实时的三维成像与传感，以满足快速在线检测与机器人视觉导航等应用需求。在医疗诊断领域，如内窥镜等设备，在保证清晰成像观测的同时，需要将设备做得更小，以减轻患者的痛苦与不适。在地质勘探领域，如在光线较暗的环境探测情况下，需要光学成像系统对光具有更高的透过率、响应灵敏度和动态范围，以提高图像的亮度与成像的信噪比。采用传统光学成像系统设计思路想要获得成像性能的少量提升，通常意味着硬件成本的急剧增加，甚至难以实现工程化应用。另一方面，光探测器规模尺寸、像元大小、响应灵敏度等已接近物理极限，很难满足这些极具挑战性的需求。

图3. 光学成像技术的五方面发展目标

随着成像电子学的发展，计算机数据处理能力的增强，光场调控、孔径编码、压缩感知、全息成像等光、电信息处理技术取得了重大的进展；另一方面，经过成千上万年，自然界已经演化出多类能够适应不同生存需求的生物视觉系统，从生物视觉系统中获得灵感无疑可以对新一代光学成像技术的发展带来有益的启示。在此背景下，20世纪90年代中期光学成像界和计算机视觉界的许多研究人员不约而同地探索出了一种新型成像模式：即图像形成不再仅仅依赖于光学物理器件，而是前端光学和后探测信号处理的联合设计[3]，这种技术就是现在广为人知的“计算成像”（Computational imaging）技术。计算成像将光学调控与信息处理有机结合，为突破上述传统成像系统中的诸多限制性因素提供了新手段与新思路[3]。对于“计算成像”，目前国际上并没有清晰的界定和严格的定义。目前普遍接受的一种说法是计算成像是通过光学系统和信号处理的有机结合与联合优化来实现特定的成像系统特性，它所得到的图像或信息是二者简单相加所不能达到的。它可以摆脱传统成像系统的限制，并且能够创造新颖的图像应用[4–8]。这种成像技术的实现方法与传统成像技术有着实质上的差别，给光学成像领域注入了新的活力[9]。21世纪初，计算成像技术在斯坦福大学、麻省理工学院、哥伦比亚大学、杜克大学、南加州大学、微软研究院等国际著名研究机构的研究学者的推动下得以迅猛发展，发展了波前编码成像、光场成像、时间编码成像、孔径编码成像、偏振成像、高光谱成像、单像素成像、结构光三维成像、数字全息成像、无透镜成像、定量相位成像、衍射层析成像、穿透散射介质成像等一系列计算光学成像的新概念与新体制。近年来，光学成像技术的发展已经由传统的强度、彩色成像发展进入计算光学成像时代。通过将光学系统的信息获取能力与计算机的信息处理能力相结合，实现相位、光谱、偏振、光场、相干度、折射率、三维形貌等高维度视觉信息的高性能、全方位采集。现如今，计算光学成像已发展为一门集几何光学、信息光学、计算光学、计算机视觉、现代信号处理等理论于一体的新兴交叉技术研究领域，成为光学成像领域的一大国际研究重点和热点。

这里必须说明的是：“计算成像”这个新兴词汇很容易被误解为“计算机成像”，或者仅仅被误认为是“传统成像”与“数字图像处理”技术的延伸。笔者认为这里有必要加以强调与区分。传统光学成像是为了获得可满足人眼或者机器视觉要求的图像，所以在进行图像采集时就需要保证获取高质量的图像数据。而实际操作中由于种种原因，成像效果往往达不到理想预期，所以通常还需要借助于数字图像处理技术对采集图像进行进一步加工。从学术级的Matlab、ImageJ，到专业级的Adobe Photoshop，乃至大众都在使用的“美图秀秀”，都属于典型的数字图像处理软件的范畴。在此过程中，光学成像过程与数字图像处理是独立且串行的关系，算法被认为是后处理过程，并不纳入成像系统设计的考虑之中，如图4所示。这即决定了传统成像技术无法从根本上通过图像处理技术来挖掘出更多场景的本质信息。简言之，如果成像前端所获取的图像数据缺失或者质量不理想（如严重离焦、噪声污染），后端仅依靠图像处理技术很难加以弥补。因为信息并不会凭空产生，正所谓“巧妇难为无米之炊”。

图4. 传统数字图像处理往往仅作为成像的后处理过程与传统光学成像系统“先成像，后处理”的成像方式截然不同，计算光学成像采用的是“先调制，再拍摄，最后解调”的成像方式。其将光学系统（照明、光学器件、光探测器）与数字图像处理算法作为一个整体考虑，并在设计时一同进行综合优化。前端成像元件与后端数据处理二者相辅相成，构成一种“混合光学—数字计算成像系统”，如图5所示。不同于传统光学成像的“所见即所得”，计算光学成像通过对照明与成像系统人为引入可控的编码或者“扭曲”，如结构照明、孔径编码、附加光学传函、子孔径分割、探测器可控位移等并作为先验知识，目的是将物体或者场景更多的本质信息调制到传感器所能拍摄到的原始图像信号中（又被称作中间像，Intermediate image，因为该图像往往无法直接使用或观测）。在解调阶段，基于几何光学、波动光学等理论基础上通过对场景目标经光学系统成像再到探测器这一完整图像生成过程建立精确的正向数学模型，再经求解该正向成像模型的“逆问题”，以计算重构的方式来获得场景目标的高质量的图像或者所感兴趣的其它物理信息。正如其名，“计算成像”中的图像并不是直接拍摄到的，而是计算出来的。这种计算成像方法实质上就是在场景和图像之间建立了某种特定的联系，这种联系可以是线性的也可以是非线性的，可以突破一一对应的直接采样形式，实现非直接的采样形式，使得采样形式更加灵活，更能充分发挥不同传感器的特点与性能。如果说光电成像技术延伸并扩展了人眼的视觉特性，那么计算成像技术则进一步延伸并扩展光电成像器件的成像维度与探测性能。这种新型的成像方式将有望突破传统光学成像技术对光学系统以及探测器制造工艺、工作条件、功耗成本等因素的限制，使其在功能（相位、光谱、偏振、光场、相干度、折射率、三维形貌、景深延拓，模糊复原，数字重聚焦，改变观测视角）、性能（空间分辨、时间分辨、光谱分辨、信息维度与探测灵敏度）、可靠性、可维护性等方面获得显著提高，有助于实现成像设备的高性能、微型化、智能化。本文仅为节选（红外与激光工程第51卷第2期）来源：新机器视觉