????????全卷积网络（fully convolutional network，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。全卷积网络通过转置卷积，将中间层输出特征图的高宽转化为原始图像的高宽，实现了输出的类别预测与输入图像在像素级别上具有一一对应关系，通道维的输出即该位置对应像素的类别预测。
8.1 模型结构
? ? ? ? 如下图所示，首先通过卷积神经网络来对输入的图片进行提取特征，再通过一个1*1的卷积层将通道数变为类别数后进入转置卷积层，将特征图的高和宽变换为输入图像的高宽，最终输出通道包含了该空间位置像素的类别预测。
? ? ? ? 这里的卷积神经网络选择在ImageNet上进行预训练的ResNet-18，将最后两层（一个全局池化层和一个全连接层）变为上图中的1*1的卷积和转置卷积。
pretrained_net = torchvision.models.resnet18(pretrained=True)
net = nn.Sequential(*list(pretrained_net.children())[:-2])
num_classes = 21
net.add_module('final_conv', nn.Conv2d(512, num_classes, kernel_size=1))
net.add_module('transpose_conv', nn.ConvTranspose2d(num_classes, num_classes,
kernel_size=64, padding=16, stride=32))8.2 初始化转置卷积层?
? ? ? ? 这里我们使用上采样方法中常用的双线性插值来对转置卷积层进行初始化。（双线性插值内容参考双线性插值（超级易懂的）_简单说鸭的博客-CSDN博客_双线性插值）,另外对于1*1的卷积网络，使用Xavier初始化参数。
#以下函数实现线性双采样
def bilinear_kernel(in_channels, out_channels, kernel_size):
factor = (kernel_size + 1) // 2
if kernel_size % 2 == 1:
center = factor - 1
else:
center = factor - 0.5
og = (torch.arange(kernel_size).reshape(-1, 1),
torch.arange(kernel_size).reshape(1, -1))
filt = (1 - torch.abs(og[0] - center) / factor) * \
(1 - torch.abs(og[1] - center) / factor)
weight = torch.zeros((in_channels, out_channels,
kernel_size, kernel_size))
weight[range(in_channels), range(out_channels), :, :] = filt
return weight
W = bilinear_kernel(num_classes, num_classes, 64)
net.transpose_conv.weight.data.copy_(W)8.3 在Pascal VOC2012数据集上进行训练和预测
batch_size, crop_size = 32, (320, 480)
train_iter, test_iter = d2l.load_data_voc(batch_size, crop_size)
def loss(inputs, targets):
return F.cross_entropy(inputs, targets, reduction='none').mean(1).mean(1)
num_epochs, lr, wd, devices = 5, 0.001, 1e-3, d2l.try_all_gpus()
trainer = torch.optim.SGD(net.parameters(), lr=lr, weight_decay=wd)
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)
#预测
def predict(img):
X = test_iter.dataset.normalize_image(img).unsqueeze(0)
pred = net(X.to(devices[0])).argmax(dim=1)
return pred.reshape(pred.shape[1], pred.shape[2])
#可视化预测的类别给每个像素，将预测类别映射回它们在数据集中的标注颜色
def label2image(pred):
colormap = torch.tensor(d2l.VOC_COLORMAP, device=devices[0])
X = pred.long()
return colormap[X, :]
voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012')
test_images, test_labels = d2l.read_voc_images(voc_dir, False)
n, imgs = 3, []
for i in range(n):
crop_rect = (0, 0, 320, 480)
X = torchvision.transforms.functional.crop(test_images[i+4], *crop_rect)
pred = label2image(predict(X))
imgs += [X.permute(1,2,0), pred.cpu(),
torchvision.transforms.functional.crop(
test_labels[i+4], *crop_rect).permute(1,2,0)]
#imgs[::3] + imgs[1::3] + imgs[2::3]是为了使同一图片按列显示
d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2)????????运行结果如下所示，可以看出光看精度能达到85%左右，但对实际图片进行预测的结果并不理想，是因为我们的图片较为简单，其中背景部分比较好识别且背景比例较大，所以是背景这块的准确度拉高了整个的准确度。
? ? ? ? 这里使用自己的图片进行预测得到的结果（很拉跨，也可能是我的羊跟它的羊长得不太一样的原因）：
