计算光学成像——分辨率提升与空间带宽积拓展

文章来源：中国光学

原文作者：左超

---

编者按
此文章围绕分辨率、超分辨率与空间带宽积拓展的相关基础理论，关键技术及其在计算光学成像中的若干应用案例展开讨论。通过将这些具体个案置入“计算光学成像”这个更高维度的体系框架去分析与探讨，从光学信息论的角度上揭示了它们大多数都可以被理解为一种 “空间带宽积调控”策略，即利用成像系统的可用的自由度，在成像系统有限空间带宽积的限制下，以最佳方式进行编解码和传递信息的过程，或者形象地说——"戴着脚镣跳舞"。这实质上是一种在物理限制下，在“得”与“失”之间所作出的符合规律的权衡与选择。
本期，让我们同左超教授一起，去了解文章背后的故事。

分辨率、超分辨率与空间带宽积拓展

——从计算光学成像角度的一些思考

问与答（QA）


采访人：李耀彪（《中国光学》执行主编）
采访嘉宾：左超（南京理工大学 教授）
01


Q：为什么跨尺度光学成像，即“宽视场、高分辨”成像的意义至关重要？传统光学成像技术在解决此问题所面临的瓶颈是什么？
A：光学成像系统获取的信息量由光学系统的视场和分辨率决定。宽视场能够覆盖更广的观察范围，高分辨率能够获得物体更多的细节信息。宽视场高分辨率成像顾名思义就是成像系统既能够拍摄到很大视场范围，又能拍摄到场景中重要且又易被忽略的细节信息，其被广泛应用于众多的科研领域与军事民生领域。
比如在现代军事行动中，越来越要求光学成像系统能够及时获取战场大范围内的详细情报，以满足对军事目标探测、识别、侦测和战场态势感知的需要。
在现代生物学领域中，随着研究重点已经由生命体的形态学表型探测逐步迈向了细胞和分子基本机制的定量测量，这种格局的转变直接导致对生物光学成像中信息通量的需求在不断增加。例如，神经元作为大脑和神经系统的基础组成部分，它的大小通常是微米量级的，但它的功能连接范围遍及了整个大脑，想要研究整个神经系统的工作机理就必须同时对整个大脑内每一个神经元同时进行高分辨率成像。再如，细胞生物学、临床快速诊断、药物筛选和细胞功能分析等研究应用一方面需要对群体活细胞进行快速无损的功能检测，另一方面又需要针对单细胞进行亚细胞结构和分子水平的动态功能分析以对细胞基本功能进行解读。为了研究这种拥有海量信息的生命科学系统，必须借助于同时具备宽视场和高分辨率的成像工具。
对于传统光学成像技术而言，其本质是场景光场强度信号在空间维度上的直接均匀采样记录与再现的过程。在此过程中，成像的分辨率与信息量不可避免地受到光学衍射极限、探测离散器采样、空间带宽积（Space-bandwidth product，SBP）等若干物理条件制约。对于传统成像系统而言，通过镜头聚焦并被成像设备采集到的物体的信息量总是有限的，它由成像系统的空间带宽积所决定。目前现有的成像镜头的空间带宽积都在千万像素量级（10 Megapixels），且随着镜头焦距或数值孔径的提高（成像分辨率提高），空间带宽积反而有所下降。这难以满足当今军事和民用领域对高分辨率、宽视场成像应用日益增长的需求。如何突破这些物理限制，获得分辨率更高，视场更宽广的图像信息，是光学成像领域的永恒课题。

图1：传统光学成像分辨率影响因素。(a) 光学衍射极限:艾里斑; (b) 探测器离散采样: 采样频率满足奈奎斯特采样频率2fmax可以采集到正确的信号周期变化; (c) 空间带宽积: 可以从信号的相空间图直观看出，一个系统的成像视场和信号带宽的乘积是一个固定值
02


Q：光学成像的分辨率是如何定义的？想要提升分辨率，有哪些典型的方法？
A：光学成像系统的空间分辨率是对其获取图像细节分辨能力的衡量，是评价成像系统图像质量的关键指标，也是成像系统实际应用中应考虑的一个关键参数。对于一个成像系统而言，其分辨率主要受限于光学系统衍射与探测器离散采样两方面的限制，前者称为光学分辨率，受衍射极限影响；后者称为图像分辨率，受采样极限影响；二者共同成为光学成像系统空间分辨率的两大制约因素。
提到光学分辨率，大部分读者应该都非常熟悉。“艾里斑”、“瑞利判据”、“阿贝衍射极限”也早已是大家耳熟能详的词汇，它们本质上都是从不同的角度来对成像系统的光学分辨率进行定义与度量，最终所给出的“衍射极限准则”也存在一些出入，这就会给一些初学者带来一些困扰。因此，我们在文章中不仅按历史时间顺序逐一对这些术语与定义进行了解释，还对它们之间的区别与联系进行了剖析。不同种“衍射极限准则”之间的差异本质上是源于它们对“可被分辨”赋予的不同的定义：
① 空域单点准则——“艾里斑”（1835）；
② 空域两点准则——“瑞利判据”（1896）；
③ 频域线对准则——“阿贝衍射极限”（1873）。
此外还包括由“艾里斑”尺寸衍生的“半高宽”准则以及比“瑞利判据”更加宽松的空域两点准则“斯派罗判据”。最终所导致的结果是，它们在空域的分辨率极限表达形式都非常类似，均包含λ/NA（正比于波长，反比于数值孔径），只是前面的系数有些许差异而已。

图2：艾里斑(a)与4个常用的分辨率度量准则（即Rayleigh(b)、Sparrow (c)、 Abbe(d) 和FWHM(e)）。灰色和蓝色的曲线代表试样中不同点的单个强度变化，其中垂直（y-）轴是强度，水平（x-）轴是各点之间的横向间隔。下图上方的曲线描述了所述的对强度分布的单独贡献，而下方的曲线展示了由各自上方曲线中的每个单独成分形成的叠加强度曲线
相比较空域的分辨率极限公式中的常数问题，另一个值得关注的问题是成像系统的“相干性”对分辨率所带来的影响。从信息论的观点看来，光学系统传递的是随空间变化的图像。而光信息学，即信息光学，或傅里叶光学就是通信理论中傅里叶分析等一系列数学思想以及系统理论与光学（主要是波动光学）相结合的产物，其研究的是光信号表征、采集、分析、处理以及在自由空间与光学系统中传输的一般规律。从空域来看，任何载有物体或者场景信息的复杂光场信号，在空间域都可以看作不同统计特性（关联性）的点源（球面波）的组合；从频域来看，该复杂光场信号又可以被看作各种空间频率（角度）的正/余弦或复指数函数（平面波）的集合（角谱）。光学系统（当然也包括自由空间）对输入的物空间的响应程度是通过空域点扩散函数来度量的，而光学系统对输入的物空间频率响应程度是通过频域的光学传递函数（OTF）来量度的，二者互为傅里叶变换。因此，一个光学成像系统的性能可直观且定量地通过光学传递函数（或等价点扩散函数）来体现。这种空间域与频率域的分析方式为分析成像系统的衍射极限提供了相互联系又有所区别的独特视角。而相比较空域准则，本人倾向于频域传递函数的表达形式，这有两方面的原因。
其一是基于空间频率域的光学传递函数理论不仅能给出分辨率的极限值，还能够更直观地给出目标不同空间频率信息的对比度与相位的传递情况。
另一个更重要的原因，也是大家通常容易忽略的：大部分之前提到的空域衍射极限准则均只适用于非相干成像（如荧光显微成像、摄影、遥感等）的情形，而对于相干成像，甚至“部分相干成像”（介于相干与非相干之间）的情形，还是需要借助于光学传递函数理论，如Hopkins的交叉传递系数（transmissioncross-coefficient, TCC）理论来准确表征的。

图3：成像系统“相干性”对分辨率的影响。(a) 表示OTF对强度调制的影响，即对比度的影响; (b) 不同相干性的传递函数; (d-f) 分别是NA截止的理想低通滤波器，2NA截止的非相干传递函数，2NA截止的理想低通滤波器的成像结果; (g) TCC几何示意图; (h) 部分相干成像情况（光源孔径小于物镜孔径）的光学传递函数; (i) 部分相干成像情况下的离焦相位传递函数; (j) 部分相干成像情况下的离焦振幅传递函数
在提升成像系统光学分辨率方面，典型的方法有：
（1）合成孔径：通过多个小口径光学系统的图像数据合成等效获得大口径光学系统的成像能力，具体来说其中包括合成孔径雷达技术（SAR）、激光合成孔径雷达技术（SAL）、傅里叶叠层显微成像技术（FPM）、非相干合成孔径技术等等；
（2）结构光照明：其本质上也属于合成孔径的一种，通过结构化照明在频域以空间混频的方式将物体高频信息载入光学系统的探测通带内实现突破阿贝衍射极限的超分辨光学显微成像，其最典型的代表就是结构光照明显微成像技术（SIM）；
（3）点扩散函数工程：在空域缩小点扩散函数的尺寸来实现超分辨。具体来说其中包括受激发射损耗显微成像技术（STED）、光敏定位显微成像技术（PALM）、随机光学重建显微成像技术（STORM）等。
区别于光学分辨率，成像系统的图像分辨率是衡量其所获得数字图像代表光学系统记录的模拟图像的精细细节的程度。区别于光学分辨率，图像分辨率是衡量成像系统通过光电传感器件进行数字化离散采样记录所获得的数字图像所能保留精细细节的能力。因此，探测器的像元密度与尺寸是决定图像分辨率的主要因素，其主要受限于奈奎斯特采样定理，即像元的采样率必须大于图像中感兴趣最高频率分量的两倍。
在提升图像分辨率方面，典型的方法有：
（1）单帧像素超分辨技术：即从一幅低分辨率图像中重建对应的高分辨率图像，其也可以看作是图像插值的特例，主要方法包括频域外推、正则化、实例映射以及深度学习等技术；
（2）多帧像素超分辨技术：利用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率，其中又可细分为亚像素位移像素超分辨技术和孔径编码像素超分辨技术等。这些技术均在我们的文章中进行了系统地介绍。
03


Q：图像的空间带宽积是如何定义的？想要实现提升成像系统的空间带宽积，又有哪些典型的方法呢？
A：空间带宽积是一个用来描述光学成像系统信息通量的无量纲物理量，它等于一个光学成像系统在其成像视场内光学可分辨有效像素的数目。空间带宽积由式N=DΔv定义，其中D代表成像视场，Δv为满足奈奎斯特采样定律下图像信号的带宽。空间带宽积越高，图像所包含的信息量就越多。对于一个传统光学成像系统而言，空间分辨率的提高与视场的扩大往往是一对难以调和的矛盾，很难单纯依靠改进光学设计参数的方式来提高。

图4：对于传统光学系统，视场与分辨率这两个参数互相矛盾，无法同时兼顾。(a) 35 mm单反相机不同焦距下所对应的视场角; (b) 35 mm单反相机不同焦距下所拍摄到的典型图像; (c) 传统显微镜存在分辨率与视场大小难以同时兼顾的矛盾：低倍镜下视野大，但分辨率低；切换到高倍镜后分辨率虽得以提升，视场却相应的成更高比例的缩减
图像空间带宽积取决于两方面因素——视场与分辨率，因此想要提高空间带宽积，可以从视场的扩大与分辨率的提高两个方面来实现。基于视场扩大的空间带宽积拓展技术又可以细分为单成像系统扫描拼接与多探测器/多孔径合成两类技术。单成像系统扫描拼接是以时间分辨置换空间分辨的传统带宽积拓展方式。而多探测器/多孔径合成是在同一时刻使用多个成像设备对空间场景进行并行拍摄，最终通过图像拼接获得宽视场高分辨率图像。这一大类视场扩大空间带宽积拓展技术中，最典型的技术有多探测器拼接技术、多相机拼接技术、多尺度成像技术等。基于分辨率提升的空间带宽积拓展技术仅利用单个成像系统即可一次性获得较大的成像视场（通常采用广角镜头、低倍物镜甚至无透镜光路），在此基础上，再结合之前所介绍的计算光学成像技术提升成像分辨率的方法，来实现高空间带宽积成像。其中最具代表性的技术包括合成孔径全息术、傅立叶叠层显微成像技术、无透镜片上显微成像技术等，我们在此方向上也开展了一些研究。
04


Q：您刚才提到了“光学合成孔径”是实现空间带宽积提升的重要手段，也提到您团队在此方向上也开展了系列研究工作，能不能再给我们详细介绍一下？
A：从2014年起，我们的团队就开始关注并从事有关光学合成孔径方面的研究工作，其中又可以细分为无标记定量相位显微成像、结构光照明超分辨荧光显微成像与合成孔径远场超分辨成像探测三个方面，这里我主要谈谈无标记定量相位显微成像方面。我们的研究重点主要在傅里叶叠层显微成像技术（Fourier ptychographic microscopy，FPM），其是由康涅狄格大学郑国安教授于2013年首次提出的。在此方向上我们做的一些比较有意思的工作包括：推导了非对称照明下的相位传递函数，首次揭示了傅里叶叠层定量相位成像中所依赖的“匹配照明条件”限制。基于此提出了基于匹配环形照明的高速傅里叶叠层定量相位成像方法（annular illumination based FPM，AI-FPM），将叠层重建所需的数据量从数十幅降低到最低4幅，并利用该技术对HeLa细胞的复分裂、长达50小时增殖过程实现了速度为25Hz的无间断高通量动态定量相位成像。后续我们进一步将方法与波长复用技术相结合，实现了单帧傅立叶叠层显微成像，在10X物镜1.33mm2的大视场下，成像的半宽分辨率为388nm（0.8NA），成像速度达到相机的固有帧频50帧/秒。最近，我们又进一步发现如果将匹配环形照明的数量从4幅提升到6幅，我们在重建得到高通量定量相位的同时，还可以对空间非均匀分布的光学像差进行恢复，从而实现了具有“数字自适应光学”功能的定量相位成像（adaptive optical quantitative phase imaging，AO-QPI）。

图5：基于环形照明傅立叶叠层显微成像技术对HeLa活细胞实现50小时的长时程高通量定量相位显微成像和自适应像差校正结果。

图6：高通量傅里叶叠层三维衍射层析成像系统与实验结果。(a)系统结构原理图；(b)显微系统实物图；(c)对HeLa细胞的高通量高分辨率三维层析成像结果图

在成功实现相位成像空间带宽积提升的基础之上，我们还进一步将傅里叶叠层成像从“二维”拓展到“三维”，提出了傅里叶叠层衍射层析技术（Fourier ptychographic diffraction tomography, FPDT）。基于0.9NA的高数值孔径暗场照明，我们在10x 0.4NA物镜的大视野下，实现了横向分辨率390nm，轴向分辨率899nm高通量三维衍射层析。该技术能够同时对约4000个HeLa细胞或2万个血红细胞进行无标记三维成像，且视场内每个细胞的亚细胞三维结构都可以清晰分辨。最近，我们团队还对结构光照明显微术（structured illumination microscopy，SIM）进行了深入的研究，并提出了基于主成分分析的结构光照明显微技术（PCA-SIM）。该技术可在有外界干扰的复杂、低信噪比实验环境下对结构光照明参数，如k波矢、初相位、调制度等的快速自适应估计与精确补偿，从而使复杂环境下的实时、高质量的合成孔径与SIM超分辨成像成为可能。该项工作即将发表于卓越计划高起点新刊eLight的2023年度3期。

图7：基于主成分分析的结构光照明显微成像技术（PCA-SIM）及其超分辨成像结果。（a）PCA-SIM原理；（b）自主搭建的SIM仪器，其中DM表示二向色镜，Lens表示消色差透镜，HWP表示半波片，PBS表示偏振分束器，SLM表示空间光调制器；（c）PCA-SIM与其他参数估计法获取的COS-7细胞的超分辨图像，其中Wide-field表示宽场图像，POP表示峰值相位法（phase-of-peak，POP），ACR表示非迭代自相关法（non-iterative auto-correlation reconstruction，ACR），IRT表示图像重组变换法（imagerecombination transform，IRT），COR表示迭代互相关法（iterative cross-correlation method, COR）；（d）利用PCA-SIM获取的实时的活体COS-7细胞线粒体的超分辨重建结果
05


Q：本期封面图片是您团队所研制的一款“无透镜”全息显微镜，它无需任何光学透镜就能实现大视场高分辨显微镜成像，能不能给我们的读者再详细介绍一下这项创新技术？
A：封面图片所展示的是我们于2019年研制出的“CyteLive无透镜全息显微镜”，它是一个不包含任何成像透镜的极简显微成像系统——整个设备只包括LED光源和CMOS传感器。其成像原理也非常简单，是基于同轴全息成像与相位恢复技术：多波长LED顺次照明样品，其对应衍射图样被利用紧贴待测样品的成像传感器所记录，通过相位恢复与亚像素超分辨成像技术重建得当样品高分辨率复振幅信息，最终即可通过角谱衍射传播实现“数字重聚焦”，得到待测样品清晰的振幅与相位分布。
这项技术的独特优势是其既 “简单”而又“不简单”：“简单”是指的是成像系统，它体积小巧、仅有传统显微镜的0.8%，可直接放在细胞培养箱里进行活细胞箱内观察；“不简单”指的是其成像性能，“无透镜”的设计绕过了传统显微镜物镜“空间带宽积”的限制，可在约30 mm2的宽视场下，实现870 nm的超像素分辨率成像，可同时观测数万个细胞。我们最近已经完成了该仪器的更新迭代，在前一代的基础上进一步拓宽成像视场，采用全封闭式设计减少环境光影响，并优化配套软件的智能化细胞分析功能。

图8：新一代CyteLive无透镜全息显微镜及其对培养皿内HeLa细胞成像效果

06


Q：您在文章中将超分辨率与空间带宽积拓展的计算成像技术归纳为一类“空间带宽积调控”策略，并形象地将其比喻成“戴着脚镣跳舞”，这将为该领域未来的发展提供哪些启示？
A：我们在文章“分辨率、超分辨率与空间带宽积拓展——从计算光学成像角度的一些思考”中，以Lukosz的超分辨原则与Papoulis广义抽样理论为出发点，阐述大部分提高成像分辨率的计算成像技术从本质上都可以被理解为一种“空间带宽积调控”策略，即利用成像系统的可用的自由度，在成像系统有限空间带宽积的限制下，以最佳方式进行编解码和传递信息的过程。我们将这些具体个案置入“计算光学成像”这个更高维度的体系框架去分析与探讨，在光信息论的意义上揭示了它们大多数都可以被理解为Lukosz “空间带宽积调控”策略的子集或者变体。它们本质上都是利用成像系统的可用的自由度，如空间、时间、强度、相位、光谱、偏振、角动量、相干性等，在成像系统有限空间带宽积的限制下，在“得”与“失”之间所作出的符合规律的权衡与选择。
本文的主要结论似乎是显而易见的，但在当下蓬勃发展的计算光学成像领域中，这一结论似乎并未得到足够的重视。我们需认识到，想要在分辨率或空间带宽积上有所“得”，就必须在另外的自由度，如视场大小、时间分辨率、光谱分辨率等，有所“失”。
例如针对图像像素超分辨技术，我们必须意识到并明确分辨率提升，即用于空间频率带宽提升以及解混叠，所需要的额外信息的来源。当我们利用Papoulis广义抽样原理，即采用小空间带宽积系统多帧采样来采集并重建大空间带宽积信号时，我们就必须理智地接受此过程中由于多次采样所造成的时间分辨率的损失。反之，如果只是追求最终成像指标上的“优美”而不愿意在速度、成像帧频上做出妥协，这就必须依赖于单帧图像超分辨技术。但事实上我们也必须意识到，这些额外“增长”出的图像信息的源头往往来自于先验。这就像建立了一套复杂的查找表机制，输入与输出总是由少到多的，而其中的逻辑来源于对目标场景中可能的物体特征深入的见解与精准的预测，这是它们取得成功最主要的因素。当然，这类以少博多，以小博大的方式，不论是压缩感知抑或是当下非常热门的深度学习技术，都无法逾越“信息不会无中生有”，“过往不代表现在，更不能代表未来”这些既定的事实，这也预示着它们在某些“非常规”情形下失败的必然性。
上述案例正体现了计算光学成像中“Less is more”，即有无相生，天地、阴阳、五行相辅相成，相生相剋的哲学思想，是一种既对立又统一的矛盾体。这或许也能够留给我们一丝人生启发：因为实无所“舍”，亦无所“得”，何不视“失”为“舍”，以“舍”博“得”。

致谢南京理工大学智能计算成像实验室的张润南、钱佳铭、王博文、胡岩、卢林芃、范瑶、李加基、李卓识、吴雪娟等在本文的图表绘制、内容完善以及文字校对过程中做出了大量工作，在此向他们深表谢意。监制：赵阳
编辑：赵唯

转载内容仅代表作者观点

不代表中科院半导体所立场

---

编辑：时生