[人工智能]【youcans 的图像处理学习课】11. 形态学图像处理（下）

专栏地址：『youcans 的图像处理学习课』
文章目录：『youcans 的图像处理学习课 - 总目录』
【youcans 的图像处理学习课】11. 形态学图像处理（上）
【youcans 的图像处理学习课】11. 形态学图像处理（中）
【youcans 的图像处理学习课】11. 形态学图像处理（下）

【youcans 的 OpenCV 学习课】11. 形态学图像处理（下）

4. 形态学图像重建

图像的形态学重建涉及两幅图像和一个结构元：图像 F 是标记，包含重建的起点；图像 G 是模板，用来约束重建；结构元 B 定义连通性，通常是全 1 的 3*3 陈列。

4.1 测地腐蚀与测地膨胀

形态学重建的核心是测地膨胀和测地腐蚀。

在二值图像中，测地腐蚀或测地膨胀是将腐蚀或膨胀结果与模板图像 G 进行交集运算（与）或并集运算（或），在灰度图像中的推广则是以求最大值、最小值来取代二值的与或操作。

简单地说，测地膨胀和测地腐蚀就是有条件的膨胀和腐蚀。膨胀或腐蚀结果与模板图像进行交集或并集运算，从而对膨胀或腐蚀操作施加了特定的约束。

标记图像 F 相对于模板图像 G 的大小为 1 的测地膨胀定义为：
$$D_G^{(1)}(F)=(F\oplus B)\cap G$$
标记图像 F 相对于模板图像 G 的大小为 n 的测地膨胀定义为：
$$D_G^{(n)}(F)=D_G^{(1)}[D_G^{(n?1)}(F)],n\ge 1$$
交集运算（逻辑与）在每一迭代步骤执行，可以保证模板 G 限制标记 F 的膨胀。标记 F 仅由模板 G 中目标的一个点开始，经过连续膨胀和模板处理，将得到形状受 G 的结构影响的结果，从而重建与 G 相同的图像。

类似地，标记图像 F 相对于模板图像 G 的大小为 1 的测地腐蚀定义为：
$$E_G^{(1)}(F)=(F?B)\cup G$$
标记图像 F 相对于模板图像 G 的大小为 n 的测地腐蚀定义为：
$$E_G^{(n)}(F)=E_G^{(1)}[E_G^{(n?1)}(F)],n\ge 1$$
并集运算（逻辑或）在每一迭代步骤执行，可以保证图像的测地腐蚀不小于模板图像。标记 F 仅由模板 G 中目标的一个点开始，经过连续膨胀和模板处理，将得到形状受 G 的结构影响的结果，从而重建与 G 相同的图像。

膨胀形态学重建和腐蚀形态学重建是膨胀和腐蚀达到稳定收敛状态的结果。 每一次膨胀和腐蚀之后都会和模板 G 取并集或者交集，即受到模板 G 的约束，因此经过有限次数的迭代步骤之后就会收敛。

因此，测地膨胀的性质是：任意步长 n 的测地膨胀，可以由 n 次单位步长的操作迭代生成，当 $n\to \infty$ 时得到膨胀重构的结果，有界图像通常会在有限步内迭代收敛。

4.2 重建开运算

开运算是先腐蚀后膨胀的过程，腐蚀会删除小目标，而膨胀会恢复保留的目标的形状，但是简单地膨胀被腐蚀的图像并不总能恢复原图像。

图像 F 的大小为 n 的重建开运算定义为，F 的大小为 n 的腐蚀性对于 F 的膨胀重建：
$$\begin{gathered} O_R^{(n)}(F)=R_F^D(F?nB) \\ (F?nB)=((...((F?B)?B)...)?B) \end{gathered}$$

首先 B 对 F 腐蚀，然后采用 F 的腐蚀结果作为膨胀重建的标记。

重建开运算能精确地恢复腐蚀后所保留目标的形状，恢复精度取决于目标形状与所用结构元的相似性。通常，腐蚀过程中使用的结构元取决与目标的形状特性，而重建过程（膨胀恢复）中使用的结构元被设计为规定的连通性，如 全 1 的 3*3 核。

重建开运算中，图像 F 是标记，包含重建的起点；图像 F 本身被用作模板，用来约束重建。

例程 10.21：基于形态学重建的竖线字符提取（清除）

本例是基于重建开运算的提取竖线字符的图像恢复，也可以同时获得其对偶结果，即清除竖线字符的图像恢复。
（1）用反映目标形状特征的结构元对原图像 F 进行腐蚀运算，例如提取竖线时使用 h*1 像素的结构元（h 为竖线的特征高度），得到腐蚀图像 $(F?B)$；
（2）用连通性结构元（如 全 1 的 3*3 核）对腐蚀图像进行膨胀恢复；
（3）用源图像作为模板来约束重建，与膨胀恢复图像进行逻辑与；
（4）重复图像 F 的 k 次重构运算，直到达到稳定收敛状态，得到重建开运算的结果。

    # 10.21：基于形态学重建的竖线字符提取（清除）
    imgGray = cv2.imread("../images/Fig0931a.tif", flags=0)  # flags=0 灰度图像
    ret, imgBinInv = cv2.threshold(imgGray, 205, 255, cv2.THRESH_BINARY_INV)  # 二值化处理 (黑色0/白色1)
    imgBin = cv2.bitwise_not(imgBinInv)  # 二值图像的补集 (黑色背景), 本例等效于原图像

    # 开运算提取垂直线 (效果对照，不是重建开运算所必需)
    vline = cv2.getStructuringElement(cv2.MORPH_RECT, (1,50), (-1,-1))  # 垂直结构元，50 像素点为特征高度
    imgOpenVline = cv2.morphologyEx(imgBin, cv2.MORPH_OPEN, vline)  # 开运算提取垂直结构

    # 构造标记图像: 采用图像的腐蚀结果作为膨胀重建的标记
    imgErode = cv2.erode(imgBin, kernel=vline)  # 对原图像(黑色背景)腐蚀，作为标记图像
    marker = imgErode

    # 形态学重建
    element = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3))
    while True:
        marker_pre = marker  # 保存 F(n-1)
        dilation = cv2.dilate(marker, kernel=element)  # 膨胀重建
        marker = cv2.bitwise_and(dilation, imgBin)  # 原图像作为模板用来约束重建，按位与，有 0 得 0
        if (marker_pre == marker).all():  # F(n)=F(n-1)?，判断是否达到稳定收敛状态
            break
    imgRebuild = marker  # 最终的 marker 就是重建开运算的结果，包含竖线的字母
    imgDual = cv2.bitwise_not(imgBinInv + marker)  # 重建开运算的对偶结果，不含竖线的字母

    # 显示
    plt.figure(figsize=(9, 7))
    plt.subplot(321), plt.imshow(imgGray, cmap='gray'), plt.title("origin image"), plt.axis("off")
    plt.subplot(322), plt.imshow(imgBinInv, cmap='gray'), plt.title("binary image"), plt.axis("off")
    plt.subplot(323), plt.imshow(imgOpenVline, cmap='gray'), plt.title("opening (v-line)"), plt.axis("off")
    plt.subplot(324), plt.imshow(imgErode, cmap='gray'), plt.title("eroded image"), plt.axis("off")
    plt.subplot(325), plt.imshow(imgRebuild, cmap='gray'), plt.title("rebuild image"), plt.axis("off")
    plt.subplot(326), plt.imshow(imgDual, cmap='gray'), plt.title("dual rebuild"), plt.axis("off")
    plt.tight_layout()
    plt.show()

4.3 形态学孔洞填充

对于二值图像 $I(x,y)$，开发一种基于形态学重建的填充孔洞的算法：

使用原图像的补集 $I^c$ 作为模板，构造一幅标记图像 F。

标记图像 F 的边框位置为 $1?I$，其它位置均为 0（白色），即：
$$F(x,y)=\{\begin{array}{ll}1?I(x,y)& ,(x,y)在边界上\\ 0& ,其它\end{array}$$
于是，$H=[R_{I^c}^D(F){]}^c$ 是一幅由图像 $I(x,y)$重建的，所有孔洞都被填充的二值图像。

基于形态学重建的孔洞填充，首先构造包含孔洞的二值图像 $I(x,y)$ 及其补集 $I^c$。使用补集 $I^c$ 作为与操作的掩模模板，可以保护迭代期间所有的前景像素不会被改变。

图像的背景为黑色（值为 1），孔洞被白色前景像素（值为 0）包围，即在孔洞周围建立了一道由 0 组成的围墙。标记图像 F 有一个元素为 1 的边界（除 $I=1$的位置外），因此黑色从边界开始向内不断膨胀，但不能突破孔洞周围的围墙。最终将填满除孔洞周围之外的全部图像，对其求补后就可以得到孔洞填充的图像。

例程 10.22：基于形态学重建的孔洞填充算法

本例是基于重建开运算的提取带有孔洞字符的图像恢复。
（1）构造标记图像 F 作为膨胀重建的标记，标记图像的边框位置为 $1?I$，其它位置均为 0；
（2）使用十字形结构元（ MORPH_CROSS），对标记图像 F 进行膨胀恢复；
（3）用原图像的补集作为模板来约束重建，与膨胀恢复图像进行逻辑与；
（4）重复图像 F 的重构运算，直到达到稳定收敛状态；
（5）对收敛的标记图像 F 求补，得到孔洞填充的重建结果。

    # 10.22：基于形态学重建的填充孔洞自动算法
    imgGray = cv2.imread("../images/Fig0931a.tif", flags=0)  # flags=0 灰度图像
    ret, imgBinInv = cv2.threshold(imgGray, 205, 255, cv2.THRESH_BINARY_INV)  # 二值化处理 (黑色0/白色1)
    imgBin = cv2.bitwise_not(imgBinInv)  # 二值图像的补集 (白色背景)

    # 构造标记图像:
    marker = np.zeros_like(imgBin, dtype=np.uint8)
    marker[0, :] = 255 - imgBin[0, :]
    marker[-1, :] = 255 - imgBin[-1, :]
    marker[:, 0] = 255 - imgBin[:, 0]
    marker[:, -1] = 255 - imgBin[:, -1]
    markerIni = marker.copy()  # 标记图像: 边框 f(x,y)=1-I(x,y)，其它为 0

    # 形态学重建
    element = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3))
    while True:
        marker_pre = marker  # 保存 F(n-1)
        dilation = cv2.dilate(marker, kernel=element)  # 膨胀重建
        marker = cv2.bitwise_and(dilation, imgBinInv)  # 原图像的补集作为模板用来约束重建，按位与，有 0 得 0
        if (marker_pre == marker).all():  # F(n)=F(n-1)?，判断是否达到稳定收敛状态
            break
    imgRebuild = cv2.bitwise_not(marker)  # 对收敛的 marker 求补得到孔洞填充的重建结果

    # 显示
    plt.figure(figsize=(9, 6))
    plt.subplot(221), plt.imshow(imgGray, cmap='gray'), plt.title("origin image"), plt.axis("off")
    plt.subplot(222), plt.imshow(imgBinInv, cmap='gray'), plt.title("inverted image"), plt.axis("off")
    plt.subplot(223), plt.imshow(marker, cmap='gray'), plt.title("final marker"), plt.axis("off")
    plt.subplot(224), plt.imshow(imgRebuild, cmap='gray'), plt.title("rebuild image"), plt.axis("off")
    plt.tight_layout()
    plt.show()

程序说明：

例程实现了孔洞填充的效果，但也有少数带有孔洞的字符并没有被识别和填充（注意观察最后两行）。这是由于印刷质量的原因，图像中部分字符存在微小的断裂，导致孔洞不连续，因此没有得到正确的识别和填充。要解决这个问题，可以先用图像闭运算弥合断裂，以减少由于印刷导致字符存在的细小缝隙。

4.4 形态学边界清除

从图像中提取目标是图像处理的基本任务，检测接触边界是常用的算法。

对于二值图像 $I(x,y)$，开发一种基于形态学重建的边界清除的算法：

使用原图像 $I$ 作为模板，构造一幅标记图像 F。

标记图像 F 的边框位置为 $I$，其它位置均为 0（白色），即：
$$F(x,y)=\{\begin{array}{ll}I(x,y)& ,(x,y)在边界上\\ 0& ,其它\end{array}$$
计算形态学重建 $R_I^D(F)$ 提取接触边界的目标，由 $X=I?R_I^D(F)$ 即可得到一幅由图像 $I(x,y)$ 重建的，目标不接触边界的图像 X。

基于形态学重建的边界清除，首先构造标记图像 F。使用原图像 $I$ 作为与操作的掩模模板，可以保护迭代期间所有的前景像素不会被改变。

标记图像 F 的边界为 $I(x,y)$，属于接触边界的目标。除原图像中接触边界的目标之外，黑色从边界开始向内不断膨胀，直到充满图像。对收敛的标记图像求补，得到边界清除的重建结果。

例程 10.23：基于形态学重建的边界清除

本例是基于形态学重建的边界清除。
（1）构造标记图像 F 作为膨胀重建的标记，标记图像的边框位置为 $I$，其它位置均为 1；
（2）使用十字形结构元（MORPH_CROSS），对标记图像 F 进行膨胀恢复；
（3）用原图像作为模板来约束重建，与膨胀恢复图像进行逻辑与；
（4）重复图像 F 的重构运算，直到达到稳定收敛状态；
（5）对收敛的标记图像 F 求补，得到边界清除的重建结果。

    # 10.23: 基于形态学重建的边界清除
    imgGray = cv2.imread("../images/Fig0931a.tif", flags=0)  # flags=0 灰度图像
    ret, imgBinInv = cv2.threshold(imgGray, 205, 255, cv2.THRESH_BINARY_INV)  # 二值化处理 (黑色0/白色1)
    imgBin = cv2.bitwise_not(imgBinInv)  # 二值图像的补集 (白色背景)

    # 构造标记图像:
    marker = np.zeros_like(imgBin, dtype=np.uint8)
    marker[0, :] = imgBin[0, :]
    marker[-1, :] = imgBin[-1, :]
    marker[:, 0] = imgBin[:, 0]
    marker[:, -1] = imgBin[:, -1]
    markerIni = marker.copy()  # 标记图像: 边框 f(x,y)=I(x,y)，其它为 0

    # 形态学重建
    element = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3))
    while True:
        marker_pre = marker  # 保存 F(n-1)
        dilation = cv2.dilate(marker, kernel=element)  # 膨胀重建
        marker = cv2.bitwise_and(dilation, imgBin)  # 原图像作为模板用来约束重建，按位与，有 0 得 0
        if (marker_pre == marker).all():  # F(n)=F(n-1)?，判断是否达到稳定收敛状态
            break  # 收敛的 marker 就是需要清除的边界字符
    imgRebuild = cv2.bitwise_not(imgBinInv + marker)  # 对收敛的 marker 求补得到边界清除的重建结果

    # 显示
    plt.figure(figsize=(10, 6))
    plt.subplot(221), plt.imshow(imgGray, cmap='gray'), plt.title("origin image"), plt.axis("off")
    plt.subplot(222), plt.imshow(imgBinInv, cmap='gray'), plt.title("mask image"), plt.axis("off")
    plt.subplot(223), plt.imshow(marker, cmap='gray'), plt.title("final marker"), plt.axis("off")
    plt.subplot(224), plt.imshow(imgRebuild, cmap='gray'), plt.title("rebuild image"), plt.axis("off")
    plt.tight_layout()
    plt.show()

例程 10.24：基于形态学重建的细胞计数

本例是基于形态学重建的细胞计数，需要清除边界上不完整的细胞，因此算法原理与边界清除是相同的。由于原图像是浅色背景，二值化处理后的背景为白色，因此用原图像的补集作为模板。
（1）构造标记图像 F 作为膨胀重建的标记，标记图像的边框位置为 $I$，其它位置均为 1；
（2）使用十字形结构元（MORPH_CROSS），对标记图像 F 进行膨胀恢复；
（3）用原图像的补集作为模板来约束重建，与膨胀恢复图像进行逻辑与；
（4）重复图像 F 的重构运算，直到达到稳定收敛状态；
（5）原图像（白色背景）与收敛的标记图像 F 或运算，得到边界清除的重建结果。

    # 10.24: 基于形态学重建的细胞计数
    imgGray = cv2.imread("../images/imgBloodCell.png", flags=0)  # flags=0 灰度图像
    ret, imgBin = cv2.threshold(imgGray, 205, 255, cv2.THRESH_BINARY)  # 二值化处理 (黑色0/白色1)
    imgMask = cv2.bitwise_not(imgBin)  # 二值图像的补集

    # 构造标记图像
    marker = np.zeros_like(imgBin, dtype=np.uint8)
    marker[0, :] = imgBin[0, :]
    marker[-1, :] = imgBin[-1, :]
    marker[:, 0] = imgBin[:, 0]
    marker[:, -1] = imgBin[:, -1]
    markerIni = marker.copy()  # 标记图像: 边框 f(x,y)=I(x,y)，其它为 0

    # 形态学重建
    element = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3))
    while True:
        marker_pre = marker  # 保存 F(n-1)
        dilation = cv2.dilate(marker, kernel=element)  # 膨胀重建
        marker = cv2.bitwise_and(dilation, imgMask)  # 原图像作为模板用来约束重建，按位与，有 0 得 0
        if (marker_pre == marker).all():  # F(n)=F(n-1)?，判断是否达到稳定收敛状态
            break
    # imgRebuild = imgBin + marker  # 按位或，有 1 得 1
    imgRebuild = cv2.bitwise_or(imgBin, marker)  # 按位或，有 1 得 1
    
    # 显示
    plt.figure(figsize=(10, 6))
    plt.subplot(231), plt.imshow(imgGray, cmap='gray'), plt.title("origin image"), plt.axis("off")
    plt.subplot(232), plt.imshow(imgBin, cmap='gray'), plt.title("binary image"), plt.axis("off")
    plt.subplot(233), plt.imshow(imgMask, cmap='gray'), plt.title("mask image"), plt.axis("off")
    plt.subplot(234), plt.imshow(markerIni, cmap='gray'), plt.title("initial marker"), plt.axis("off")
    plt.subplot(235), plt.imshow(marker, cmap='gray'), plt.title("final marker"), plt.axis("off")
    plt.subplot(236), plt.imshow(imgRebuild, cmap='gray'), plt.title("rebuild image"), plt.axis("off")
    plt.tight_layout()
    plt.show()

4.5 形态学粒度测定

粒度测定属于判断图像中颗粒的尺寸分布的领域 。

对于二值图像 $I(x,y)$，开发一种基于形态学重建的粒度测定的算法。

例程 10.25：基于形态学重建的粒度测定

本例是基于形态学重建的粒度测定。

    # 10.25: 基于形态学重建的粒度测定
    imgGray = cv2.imread("../images/Fig0941a.tif", flags=0)  # flags=0 灰度图像
    ret, imgBin = cv2.threshold(imgGray, 127, 255, cv2.THRESH_BINARY)  # 二值化处理 (黑色背景), 本例等效于原图像
    imgBinInv = cv2.bitwise_not(imgBin)  # 二值图像的补集 (白色背景)

    # 构造标记图像: 采用图像的腐蚀结果作为膨胀重建的标记
    element = cv2.getStructuringElement(cv2.MORPH_RECT, (1,50), (-1,-1))  # 特征结构元，50 像素点为特征高度
    imgErode = cv2.erode(imgBin, kernel=element)  # 对原图像(黑色背景)腐蚀，作为标记图像

    # 形态学重建
    mask = imgBin  # 原图像 (黑色背景) 作为掩模
    marker = imgErode  # 腐蚀结果作为重建的标记
    element = cv2.getStructuringElement(cv2.MORPH_CROSS, (3,3))
    while True:
        marker_pre = marker  # 保存 F(n-1)
        dilation = cv2.dilate(marker, kernel=element)  # 膨胀重建
        marker = cv2.bitwise_and(dilation, mask)  # 原图像作为模板用来约束重建，按位与，有 0 得 0
        if (marker_pre == marker).all():  # F(n)=F(n-1)?，判断是否达到稳定收敛状态
            break
    imgRebuild = marker  # 最终的 marker 就是重建开运算的结果
    imgDual = cv2.bitwise_not(imgBinInv + marker)  # 重建开运算的对偶结果，不含竖线的字母

    # 显示
    plt.figure(figsize=(9, 7))
    plt.subplot(231), plt.imshow(imgGray, cmap='gray'), plt.title("origin image"), plt.axis("off")
    plt.subplot(232), plt.imshow(imgBin, cmap='gray'), plt.title("binary image"), plt.axis("off")
    plt.subplot(233), plt.imshow(imgBinInv, cmap='gray'), plt.title("binary invert"), plt.axis("off")
    plt.subplot(234), plt.imshow(imgErode, cmap='gray'), plt.title("eroded image"), plt.axis("off")
    plt.subplot(235), plt.imshow(imgRebuild, cmap='gray'), plt.title("rebuild image"), plt.axis("off")
    plt.subplot(236), plt.imshow(imgDual, cmap='gray'), plt.title("dual rebuild"), plt.axis("off")
    plt.tight_layout()
    plt.show()

5. 灰度级形态学

灰度级形态学将形态学操作从二值图像扩展到灰度图像。灰度形态学处理也有腐蚀、膨胀、开运算、闭运算、顶帽操作、低帽操作等操作，可以实现图像平滑、图像增强、图像分割功能。

把图像像素点的灰度值视为高度，不同的灰度级表示不同的高度，整个图像就像一张高低起伏的地形图。明亮的区域（灰度值大）相当于高山，黑暗的区域（灰度值小）相当于深谷，边缘区域即明亮与黑暗的交界相当于悬崖。

灰度级形态学中的结构元的基本功能与二值形态学中的结构元类似，都是检查图像中的特定结构特征的”探测器“。灰度级形态学中的结构元分为平坦结构元和非平坦结构元，这两类结构元具有不同的灰度剖面。

本节相关例程详见【youcans的OpenCV例程200篇】。

6. 形态学小结

数学形态学是一门建立在集论基础之上的学科，是几何形状分析和描述的有力工具。

近年来形态学在数字图像处理、计算机视觉与模式识别等领域中得到了越来越广泛的应用，逐渐成为一种新的数字图像分析方法和理论。

（1）形态学运算本质上是二维卷积运算，当图像尺寸较大时的运算速度很慢，不适合实时图像处理。

（2）结构元素对形态运算的结果具有决定性的作用，因此要结合实际应用的需求和图像的特征，合理选择结构元素的大小与形状。

版权声明：
youcans@xupt 原创作品，转载必须标注原文链接：(https://blog.csdn.net/youcans/article/details/127148909)
Copyright 2022 youcans, XUPT

欢迎关注 『youcans 的 OpenCV 学习课』 系列，持续更新
文章目录：『youcans 的图像处理学习课 - 总目录』