【光电智造】机器视觉如何辨别“黑白”

来源:今日光电发布时间:2023-03-101944浏览

询问 AI

今日光电

有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。欢迎来到今日光电！

----与智者为伍为创新赋能----

传统的机器视觉通常包括两个步骤——预处理和物体检测。而沟通二者的桥梁则是图像分割（Image Segmentation）[1]。图像分割通过简化或改变图像的表示形式，使得图像更易于分析。

举个例子，食品加工厂新进了一批肉鸡，想通过视觉检测其美味程度。机器在预处理优化完图像之后，要先把图像中的鸡肉和背景分开，并对感兴趣的区域单独进行分析，才能做出快速准确的判断。

食品加工厂的视觉处理

然而，图像分割对愚蠢的AI来说并不容易。聪明的人类一眼就能看出下图中哪些东西能吃、哪些不能吃。但计算机要把这些东西分开却得花费一番功夫。

原图

图像分割结果

最简单的图像分割方法是二值化（Binarization）。二值图像每个像素只有两种取值：要么纯黑，要么纯白。

彩色图、灰度图、二值图对比

由于二值图像数据足够简单，许多视觉算法都依赖二值图像。通过二值图像，能更好地分析物体的形状和轮廓。二值图像也常常用作原始图像的掩模（又称遮罩、蒙版，Mask）：它就像一张部分镂空的纸，把我们不感兴趣的区域遮掉。进行二值化有多种方式，其中最常用的就是采用阈值法（Thresholding）进行二值化。

在计算机视觉里，一般用矩阵来表示图像。也就是说，无论你的图片看上去多么好吃，对计算机来说都不过是个矩阵而已。

在这个矩阵里，每一个像素就是矩阵中的一个元素。在三通道的彩色图像中，这个元素是由三个数字组成的元组。

彩色三通道图像

而对于单通道的灰度图像来说，这个元素就是一个数字。这个数字代表了图像在这个点的亮度，数字越大像素点也就越亮，在常见的八位单通道色彩空间中，0代表全黑，255代表全白。

单通道的灰度图

阈值法是指选取一个数字，大于它就视为全白，小于它就视为全黑。就像教室里的灯管开关，我们轻轻地推动它，如果突然间超过了某个阈值，灯就啪的一声亮了。

根据阈值选取方式的不同，可以分为全局阈值和局部阈值。

全局阈值

Global Method

全局阈值，指的是对整个图像中的每一个像素都选用相同的阈值。我们可以在Photoshop的图像-调整-阈值里体验这一操作：

Photoshop里的阈值

可以看到阈值色阶从1到255的移动过程中，图像变黑的区域越来越多。当阈值数字在某个特定范围内的时候，红米肠的轮廓清晰可辨。

正确的二值化使红米肠轮廓清晰可辨

在生产线环境下，光照是已知的，常常会设定一个固定的数字来作为全局阈值。但是在室外或者机器人比赛中，光照条件往往更加复杂*。

RoboMaster赛场的绚丽灯光

*此图采用了夸张手法，RoboMaster是个很正规的比赛，绝对不会在比赛的时候这么难为大家的。

同样是奥利奥冰激凌，在白天和晚上，摄像头看到的画面可能不太一样，常数阈值无法同时适应这两种情况。

明暗不同的画面

对于画面比较暗的晚上，我们需要一个比较低的阈值，比如说设定阈值为50，它在晚上能很清楚地把黑白两种颜色分开，但是到了白天就是一片白（左边）；如果我们把阈值设置得比较高，比如说172，在白天能顺利分割，但在晚上就是一片黑（右边）。我们需要能够适应复杂环境的算法。

左边阈值=50，右边阈值=172

其实，稍作分析我们可以发现，这张图像中的颜色差异还是比较明显的，只有深浅两种颜色。因此，无论是在白天还是黑夜，它的色阶直方图都应该是两个明显的波峰，分别代表深色和浅色的区域。只是色阶直方图在白天会整体向右偏移，而在夜晚整体向左偏移。

图像的色阶直方图

如果选择两个波峰之间的波谷作为阈值，就能轻松地把这两类像素分开。但是图像的直方图往往是不连续的，有非常多尖峰和抖动，要找到准确的极值点十分困难。

日本工程师大津展之为这个波谷找到了一个合适的数学表达，并于1979年发表[2]。这个二值化方法称为大津算法（Otsu’s method）。大津算法类似于一维Fisher判别分析的离散化模拟。通过穷举法找到一个阈值数字，把这些像素切成两类，使得这两类像素的亮度的类内方差最小。类内方差指的是两类像素的方差的加权和，这里权指的是这类像素点数量占整个图像像素点数量的比值。

也许你的画面不会只有两坨差异较大的颜色，比如这款雪糕的就有三个尖峰。

三色雪糕（取雪糕部位的直方图）

这时候，只需对大津算法稍加扩展也可以完成。对大津算法的多级推广成为多大津算法（multi Otsu method）[3]。

局部阈值*

Local Method

*又称自适应阈值，Adaptive Thresholding

比赛中常常会有聚光灯照在一个特定区域，产生局部受光、局部不受光的画面。

局部受光的图像

对于局部受光的图像进行全局阈值，可能会出现“无论设置什么阈值参数，都无法满足全图要求”的尴尬。比如上面这幅图像，直接进行全局阈值时，左上半边的寿司全都显露出来时，右下半边还是一片黑色。

局部受光图像的全局阈值处理

这个时候我们就要用到局部阈值来处理了。其实，人的眼睛也是自带了这一步操作的。我们判定一个东西颜色深浅，往往会受到物体周边的颜色影响，这也就是为什么黑人的牙齿看上去更白。

局部阈值法假定图像在一定区域内受到的光照比较接近。它用一个滑窗扫描图像，并取滑窗中心点亮度与滑窗内其他区域（称为邻域, neighborhood area）的亮度进行比较。如果中心点亮度高于邻域亮度*，则将中心点标记为白色，否则标记为黑色。

局部阈值的滑窗

*这里提到的是局部阈值的基本方法，对于实际使用中常见的其他局部阈值方法，请参阅Chow-Kaneko自适应阈值法[4]。

局部阈值的应用非常广泛，特别是对白纸黑字的处理非常有效。光学字符识别（OCR）和二维码扫描的算法中，很多都用了局部阈值操作。

比如下面这张二维码就是一张典型的局部受光图像：

扫扫看，局部受光的二维码

如果对这张图片采用全局阈值（例如下图采用大津算法进行分割），是无论如何都无法正确分割的。

全局方法不能处理局部受光图像

而采用局部阈值方法就能很好地分割图像。从图片里可以明显观察到，局部阈值方法对于一大片干净区域的细节比较敏感，所以纸面上多出了很多我们原本注意不到的斑点。

局部方法分割二维码

◆◆◆

实际运用中，我们要根据需求选择不同的二值化方法，没有哪个方法是绝对完美的。

例如，在识别敌方机器人时，由于装甲片灯条是自发光物体，受环境光影响较小，为了提高程序运行效率，我们采用固定数字作为全局阈值：

基地自动反击

在能量机关的识别中，由于能量机关只有黑白两种颜色，我们采用了大津算法及其多种变体：

大能量机关各区域的二值图

而在空中机器人读取基地区二维码的时候又用到了局部阈值方法：

空中机器人识别基地

今天所讲的内容只是图像分割的冰山一角，作为视觉领域最古老的问题之一，时至今日仍有非常多图像分割的新算法被提出。

除了基于阈值的图像分割方法外，常用的分割方法还可以基于边缘（如Yanowitz-Bruckstein自适应阈值方法[5]）、区域（如区域生长算法[6]）等，它们在卫星图像处理、交通控制系统、工业生产监控、医疗影像等领域发挥着巨大的作用。

脑部组织图像分割

策划 | 视觉组

图文 | 宣传组

本文所述阈值方法的OpenCV实现，请访问：

https://docs.opencv.org/master/d7/d1b/group__imgproc__misc.html

参考文献

[1]Spirkovska, L. (1993). A summary of image segmentation techniques.

[2]Nobuyuki Otsu (1979). A threshold selection method from gray-level histograms.IEEE Trans. Sys., Man., Cyber.9(1):62–66.

[3] Ping-Sung Liao and Tse-Sheng Chen and Pau-Choo Chung (2001). A Fast Algorithm for Multilevel Thresholding.J. Inf. Sci. Eng.17(5):713–727.

[4] Chow,C.K.; and Kaneko, T.: Boundary Detection of Radiographic Images by a Thresholding Method. Frontiers of Pattern Recognition, S. Watanabe, ed.,Academic Press, New York, 1972, pp. 61-82.

[5]Yanowitz, S. D., Bruckstein, A. M. (1988, November). A new method for image segmentation. InPattern Recognition, 1988., 9th International Conference on(pp. 270-275). IEEE.

[6] Richardson H W. Regional growth theory[M]. Macmillan,1973.

来源：机器视觉沙龙