[人工智能]人工智能-作业4：CNN - 卷积

一、简单描述卷积、卷积核、多通道、特征图、特征选择概念。

1.卷积

卷积（Convolution），也叫褶积，是分析数学中一种重要的运算．在信号处
理或图像处理中，经常使用一维或二维卷积．

2.卷积核

假设一个信号发生器每个时刻 𝑡 产生一个信号 $x_t$，其信息的衰减率为 $w_k$，即在 𝑘 ? 1 个时间步长
后，信息为原来的$w_k$ 倍．我们把$w_1$, $w_2$, ?称为滤波器（Filter）或卷积核（Convolution Kernel）

3.多通道

一个通道是对某个特征的检测，通道中某一处数值的强弱就是对当前特征强弱的反应。

以彩色图像为例，包含三个通道，分别表示RGB三原色的像素值，输入为（3,5,5），分别表示3个通道，每个通道的宽为5，高为5。假设卷积核只有1个，卷积核通道为3，每个通道的卷积核大小仍为3x3，padding=0，stride=1。每一个通道会对应一个输出卷积结果，三个卷积结果对应位置累加求和，得到最终的卷积结果

4.特征图

对RGB图片进行卷积操作后，根据过滤器的数量就可以产生更多的通道。事实上，多数情况还是叫后面的卷积层中的通道为，特征图。但实际上在张量表示下，特征图和前面提到的通道差不多，有时候后面的也都叫通道了。一种卷积核得到一个通道，所以特征图个数=输出通道数=卷积核个数。

5.特征选择概念

在机器学习和统计学中，特征选择（英语：feature selection）也被称为变量选择、属性选择 或变量子集选择 。它是指：为了构建模型而选择相关特征（即属性、指标）子集的过程。

二、不同卷积核的作用。

1.边缘检测

图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性

2.锐化

通过加强图片的边缘对比度来获得在视觉上较受使用者喜爱的具有清晰边界的影像

3.模糊

使图片变得模糊

三、编程实现：

1.经典卷积核，实现灰度图的边缘检测、锐化、模糊。

边缘检测

import numpy as np
import torch
from torch import nn
from torch.autograd import Variable
import torch.nn.functional as F
from PIL import Image
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号 #有中文出现的情况，需要u'内容
# https://blog.csdn.net/weixin_40123108/article/details/83510592
file_path = '1.png'
im = Image.open(file_path).convert('L')  # 读入一张灰度图的图片
im = np.array(im, dtype='float32')  # 将其转换为一个矩阵
print(im.shape[0], im.shape[1])
plt.imshow(im.astype('uint8'), cmap='gray')  # 可视化图片
plt.title('原图')
plt.show()

im = torch.from_numpy(im.reshape((1, 1, im.shape[0], im.shape[1])))
conv1 = nn.Conv2d(1, 1, 3, bias=False)  # 定义卷积

sobel_kernel = np.array([[-1, -1, -1],
                         [-1, 8, -1],
                         [-1, -1, -1]], dtype='float32')  # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3))  # 适配卷积的输入输出
conv1.weight.data = torch.from_numpy(sobel_kernel)  # 给卷积的 kernel 赋值

edge1 = conv1(Variable(im))  # 作用在图片上

x = edge1.data.squeeze().numpy()
print(x.shape)  # 输出大小

plt.imshow(x, cmap='gray')
plt.show()

锐化

import numpy as np
import torch
from torch import nn
from torch.autograd import Variable
import torch.nn.functional as F
from PIL import Image
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号 #有中文出现的情况，需要u'内容
# https://blog.csdn.net/weixin_40123108/article/details/83510592
file_path = '1.png'
im = Image.open(file_path).convert('L')  # 读入一张灰度图的图片
im = np.array(im, dtype='float32')  # 将其转换为一个矩阵
print(im.shape[0], im.shape[1])
plt.imshow(im.astype('uint8'), cmap='gray')  # 可视化图片
plt.title('原图')
plt.show()

im = torch.from_numpy(im.reshape((1, 1, im.shape[0], im.shape[1])))
conv1 = nn.Conv2d(1, 1, 3, bias=False)  # 定义卷积

sobel_kernel = np.array([[0, -1, 0],
                         [-1, 5, -1],
                         [0, -1, 0]], dtype='float32')  # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3))  # 适配卷积的输入输出
conv1.weight.data = torch.from_numpy(sobel_kernel)  # 给卷积的 kernel 赋值

edge1 = conv1(Variable(im))  # 作用在图片上

x = edge1.data.squeeze().numpy()
print(x.shape)  # 输出大小

plt.imshow(x, cmap='gray')
plt.show()

模糊

import numpy as np
import torch
from torch import nn
from torch.autograd import Variable
import torch.nn.functional as F
from PIL import Image
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号 #有中文出现的情况，需要u'内容
# https://blog.csdn.net/weixin_40123108/article/details/83510592
file_path = '1.png'
im = Image.open(file_path).convert('L')  # 读入一张灰度图的图片
im = np.array(im, dtype='float32')  # 将其转换为一个矩阵
print(im.shape[0], im.shape[1])
plt.imshow(im.astype('uint8'), cmap='gray')  # 可视化图片
plt.title('原图')
plt.show()

im = torch.from_numpy(im.reshape((1, 1, im.shape[0], im.shape[1])))
conv1 = nn.Conv2d(1, 1, 3, bias=False)  # 定义卷积

sobel_kernel = np.array([[0.0625, 0.125, 0.0625],
                         [0.125, 0.25, 0.125],
                         [0.0625, 0.125, 0.0625]], dtype='float32')  # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3))  # 适配卷积的输入输出
conv1.weight.data = torch.from_numpy(sobel_kernel)  # 给卷积的 kernel 赋值

edge1 = conv1(Variable(im))  # 作用在图片上

x = edge1.data.squeeze().numpy()
print(x.shape)  # 输出大小

plt.imshow(x, cmap='gray')
plt.show()

2.调整经典卷积核参数，测试并总结。

将边缘检测的第二行第二列的数从1逐渐递增到32，图像变化如下：

3.使用不同尺寸图片，测试并总结。

换了一个尺寸后，用之前的Sobel算子，图片完全变灰了，什么都显示不出来

然后找了一个自动计算sobel算子的代码后就可以成功的边缘检测了

import cv2
import numpy as np
import matplotlib.pyplot as plt
# 计算sobel
def edge_sobel(src):
 kernelSize = (3, 3)
 gausBlurImg = cv2.GaussianBlur(src, kernelSize, 0)

 # 转换为灰度图
 channels = src.shape[2]
 if channels > 1:
     src_gray = cv2.cvtColor(gausBlurImg, cv2.COLOR_RGB2GRAY)
 else:
     src_gray = src.clone()

 scale = 1
 delta = 0
 depth = cv2.CV_16S

 # 求X方向梯度（创建grad_x, grad_y矩阵）
 grad_x = cv2.Sobel(src_gray, depth, 1, 0)
 abs_grad_x = cv2.convertScaleAbs(grad_x)

 # 求Y方向梯度
 grad_y = cv2.Sobel(src_gray, depth, 0, 1)
 abs_grad_y = cv2.convertScaleAbs(grad_y)

 # 合并梯度（近似）
 edgeImg = cv2.addWeighted(abs_grad_x, 0.5, abs_grad_y, 0.5, 0)
 return edgeImg


imgSrc = cv2.imread("1.png")  
img = cv2.resize(imgSrc, (0, 0), fx=0.25, fy=0.25, interpolation=cv2.INTER_NEAREST)

sobelImg = edge_sobel(img)
plt.imshow(img, 'gray')
plt.show()
plt.imshow(sobelImg, 'gray')
plt.show()

cv2.waitKey(0)
cv2.destroyAllWindows()

4.探索更多类型卷积核。

浮雕：

5.尝试彩色图片边缘检测。

将3中的代码中的"gray"参数删除，然后令src_gray = src, 尝试计算RGB图的Sobel算子。

好像是成功了吧。。。

开发者涨薪指南

48位大咖的思考法则、工作方式、逻辑体系