我坐上了扭曲时空的春运火车？！

来源:中科院半导体所发布时间:2022-02-09902浏览

询问 AI

火车上遇见的怪事

春节过去啦，不知大家这七天假过得可好呀？

前阵子，叙完乡情的小编乘上了返程的火车。山峦起伏上旭日渐升，树影飞掠间故土渐远。小编拿起手机，拍下了这路途上的景色。

图1 太美了，我决定起名《枯树、斜阳、游子》
但是……等等？近处的电线杆有点诡异，形状就像一挂软塌塌的面条，上面“高压危险”的牌子更是扭曲得不正常。不信邪的小编又朝窗外拍下了几张照片。

图2 一些奇怪的照片
照片里护栏、电塔、路灯都有奇怪的歪斜，电塔的四个柱子的歪斜方式也不一样，看上去不仅像个站不稳的醉汉，还神采奕奕地扭转着身子。

这是怎么回事呢？其实，这一切都是成像传感器的锅，大部分消费级手机和相机用的是卷帘式快门，它是逐行将光信号导出成电信号的，经过这般扫描后就会产生这种扭曲。

图3 卷帘式快门 | 图源：wikipedia[1]
类似于前阵子大火的“蓝线挑战”，APP将读取信号的扫描线放缓，让网友们打开脑洞，利用扫描线玩出了各种扭曲的照片。甚至还有网友用它作画。

图4 蓝线挑战：用口罩沿着扫描线画出戏服| 图源：抖音@C&D
这激发起了小编的兴趣，回去立马用相机复现了一下这个效应。

つ(*▽*)つ

٩(*▽*)٩

图5 福字、白板、白板擦在高速晃动下呈现果冻般的弹性
大家也可以自己试试，这里给一个拍摄小tip：在专业模式下尽量缩短曝光时间。小编使用的是1/200s。相对应地，要提高感光度ISO，并尽可能地给被摄物打光。如果快门时间较长，就会出现运动模糊。

つ(*////▽////*)つ

٩(*\\\\▽\\\\*)٩

图6 没错，就是糊成这样
所以今天这篇文章我们就讲讲这个扭曲“滤镜”——果冻效应。

成像传感器

首先得讲讲摄影中成像传感器的基本原理。光线经过透镜组来到成像传感器上后，被传感器通过化学或电学手段记录定格。
在摄影历史的上古时代，相机使用的是感光胶片作为光的记录者。胶片上的卤化银（大多是溴化银）感光并经过显影后，会还原成银单质。因为细银粉是黑色的，所以用定影剂洗掉多余的卤化银后，得到的是黑白颠倒的负片。而要使黑白再倒回原像的样子，只需要再用负片曝光一次。这样，就用化学方法记录下了曝光阶段的影像。

现在，相机进入了电子时代，主流的成像传感器也变成了CCD和CMOS。它们的工作过程都包括光电转化、电荷收集、电荷转移和电荷测量这四个步骤。
CCD (charge-coupled device)，电荷耦合元件。光子入射到光电二极管上后，就会激发出光电子，每个像素的电子被收集在一块形成电荷包，再依次从上一行像素转移到下一行的像素，最终转移到测量电路，输出各自的电信号。

图7 CCD结构示意图 | 图源Edmund[2]
CMOS (complementary metal-oxide-semiconductor)，互补金属氧化物半导体。与CCD不同的地方是，它的每一个像素都集成了模拟电路。所以在CCD中需要一整列集体完成的读取操作，在CMOS中就由单个像素一条龙承包了。

图8 CMOS结构示意图 | 图源Edmund[2]
从这里可以看出，CCD的读出均匀性更好，毕竟共用同一个读取电路。而CMOS上的上千万个像素都有自己的心思，每个像素的放大器不能保证完全一致，所以早期CMOS的良品率确实不高。除此之外，CCD的开口率更大，可以进更多的光线，获得更高的信噪比。相比较下，CMOS的每个像素都要被读取电路占据一部分空间，这使得单个像素的受光面积不如CCD。
但CMOS也有它的优势。CMOS的功耗更低，因为它的读取电路只用放大单个像素的电信号，而CCD需要放大整列像素的信号。此外，CMOS的稳定性更高。CCD如果坏了一个像素，整列像素的传输通道就断了，信号就关闭了，图像就没有了，坏死的整列黑点就占领高地了。

曹操：好巧，我也是这么想的
正是这两点，让CCD束之高阁，大多只在高精度要求的科研、医疗场景下使用，而民用相机基本上都是CMOS。

卷帘快门和全域快门

受制于上面讲述的工作原理，大部分的消费级CMOS采用的是卷帘快门。顾名思义，卷帘快门，就是像卷闸门一样逐行读取像素阵列上的光信号。而全域快门就是同时读取所有像素阵列上的光信号。

图9 卷帘快门vs全域快门 | 图源：wikipedia[1]
CCD在读取电信号时，需要将上一行的电荷垂直转移到下一行，在转移过程中，这些像素都被用于处理传输过程，不能继续感光，否则就会影响成像质量。所以CCD很容易实现全域快门，使所有像素同时曝光。相比之下，CMOS要使用全域快门，就困难得多了，需要附加额外的晶体管，设计单独的同步电路，成本也就跟着上涨，反而不利于市场竞争。
卷帘快门导致的后果，除了把运动物体扭曲成像果冻一样外，还有单张照片里曝光的变化。想象一下，当一束闪电还没劈下来时，快门在读取上半部分，等闪电劈下来照亮天空后，快门开始读取下半部分，这样拍出来的照片就会显得上暗下亮。

图10 CMOS拍摄的闪电 | 图源：wikipedia[1]
在实验室使用高亮度的光源快速闪烁，也能复现这一现象。

卷帘快门的闪烁

全域快门的闪烁

图11 两种快门的闪烁 | 图源：bilibili@陈大陈[3]

把相机转一下

之前相机的移动方向是垂直于扫描方向的，如果我们转动一下，使相机的移动方向平行于扫描方向，又会发生什么呢？在纪录片《像乌鸦一样思考》的第15集[4]中，主持人就对此做了一个实验。

图12 一个有趣的实验

| 图源：《像乌鸦一样思考》[4]

可以看到，随着手机旋转90°，拍到的火车依次变宽，变斜，变窄，变朝另一方向倾斜。如果你明白前面所讲的原理，不妨停下来，想想这是怎么回事吧。

图13 不同方向下的果冻效应

| 图源：《像乌鸦一样思考》[4]

想想看

想好了再拉开哦

……

本实验中所用的手机相机，按图①方向看是从右往左扫描读取的，这时与火车运动方向相同，单个窗户经过扫描线的时间就更长，显得火车被拉宽了。图③则反之。

在图②中，扫描线从上往下扫，下方的图像更偏向火车朝左的运动。图④中，扫描线从下往上扫，上方的图像更偏向火车朝左的运动。

点此拉开抽屉，查看答案

果冻效应行为大赏

至此，大家就很清楚果冻效应的机理了。没想到在先进的CMOS背后，还有这么一个小小的缺陷，以至于在胶片时代十分自然的全域快门在现今成了一种奢侈品。不过事物都有两面性，正如残月也有独属于它的弧线美，接下来欣赏一些果冻效应带来的奇特视觉效果吧。

5.1

吉他弦

图14 吉他弦的果冻效应

| 图源：bilibili@Fun科学[5]‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

吉他弦的振动频率大概在100~1000Hz的范围内，当曝光时间接近这个量级时，扫描完单帧恰好会经历几个吉他弦的振荡周期，于是就会出现“示波器”般的效果。要想看清吉他弦原本的运动，就得使用曝光时间短至1/20000s的高速摄像机，才能拍出图15左侧的画面。当然，把相机转个90°就能让这种现象消失，见图16。