当镜头设计遇上数字孪生

来源:新思科技发布时间:2022-12-051582浏览

从医疗诊断到汽车、智能手机、和视频监控…摄像头在我们的日常生活中无处不在。所以说如今的数据中有一半是图像和视频一点都不夸张，而且其中大部分是通过便携式系统在终端生成的。
与云端相比，终端设备的设计挑战仍然很多。比如说，如何尽情用智能手机拍摄精美照片的同时，又不必担心电池电量问题呢？自动驾驶系统如何在无需大规模云数据处理的情况下同时分析来自近10个摄像头的图像呢？
摄像头开发团队常常遇到的痛点包括不断变化的规格、设计和制造之间的差异，以及设计和组装多个组件所带来的复杂性，若想更好地设计出下一代边缘和普适摄像头，则需要更新的工具和技术。数字孪生恰巧就是这样一项技术。
数字孪生是一项关键的使能技术，不仅适用于飞机或复杂的发电厂，还适用于成像系统。数字孪生能够通过仿真优化产品生命周期，从而实现更高的规格（避免过度规格设定）和过程控制预测，并支持更早地介入软件开发。数字孪生还能催生出定制成像系统，例如无需“始终在线”的高效视频监控摄像头。
在本文中，我们将介绍数字孪生如何通过成像仿真助力成像系统实现更好、更精简的规格和虚拟测试。

摄像头系统：精密而又复杂

成像系统是一个多尺度、多重物理量模型，具有多个相互依赖的组件：

镜头组从场景中捕捉光子；

CMOS图像传感器将这些光子转换成电子；

图像信号处理器芯片将原始电子信号转换成具有不同颜色、去噪且人眼可读的数字图像；

数字信号处理器计算数字图像以获取信息；

I/O芯片将成像系统与某个外部组件相连；

最后，成像系统必须能够提供高质量图像。一般，高质量图像指用数码单反相机拍摄的高品质图像。但是，如果将该标准运用于土壤监测、医疗诊断或自动驾驶的图像，可能会导致出现过高规格或错误的预期结果。
下面我们来看看成像系统架构师和团队如何利用新思科技光学解决方案的成像仿真功能来渲染和优化成像系统的预期成像结果。

工作流程和结果

如以下简化示例所述，现在已经可以使用CODE V、LightTools和RSoft光子器件工具来仿真图像。在该示例中，成像系统包含一个由四个镜片构成的镜头组和一个具有微透镜阵列的1.12微米RGB像素CMOS传感器。

▲配备四个镜片和CMOS传感器的成像系统示例

1. 使用CODE V根据镜头组光学特性仿真成像结果
第一步是设计镜头组并生成相应的PSF。我们使用CODE V中的图像仿真（IMS）功能来仿真成像结果。开发者可以将任意2D图像导入到该工具中，然后定义FFT网格大小并计算通过镜头后的PSF网格，并可以添加颜色、相对照度参数和图像传感器属性，如像素大小和像素数量。IMS将根据通过CODE V定义和计算的光学参数来计算输入图像的卷积，并输出由此得到的图像。

▲右侧的输出图像是输入图像与由CODE V计算镜头组光学参数得到的卷积结果
然后，开发者可以在模拟图像上评估图像质量。通过进一步优化镜头组，便可以为目标应用提供所需的图像质量。
2. 使用LightTools和RSoft光子器件工具仿真杂散光
大多数成像系统都必须经过进一步优化，以避免出现杂散光而影响预期的成像品质。鬼影和眩光是成像系统中的典型杂散光。开发者们可以使用RSoft光子器件工具和LightTools来预测成像系统简化示例中的鬼影和眩光。由于传感器的衍射和反射特性，开发者需要预测系统中的杂散光。CMOS图像传感器通常是微米大小像素的集合，这些像素会产生强衍射谱，因此必须使用RSoft光子器件工具来获得该表面的光学特性。
更具体地说，DiffractMOD RCWA是缜密计算横向周期性器件衍射特性的有效工具。它可以输出各个衍射级的反射/透射功率、全反射/透射、各个衍射级的振幅/相位/角度，以及仿真域中的场分布。所有结果都存储在BSDF文件中，并可以导出到LightTools来做进一步的仿真。
第三步是从CODE V导入镜头组几何形状，添加传感器属性，从RSoft导入BSDF文件，添加光源（下图中为太阳光源），并使用LightTools的光线路径工具来运行蒙特卡洛仿真，以分析杂散光所有可能的路径。仿真结果将类似于右侧所示的图像。