可视化类激活的热力图

对于卷积神经网络，还存在着另外一种可视化的方法，有助于我们了解一张图片的那一部分让卷积神经网络做出了最终的决策，这种通用的技术被称为类激活图（CAM），其特点如下：

输出与特定类别相关的二维分数网格
对于输入图像的每一个位置都需要计算
表示每个位置对该类别的重要程度
表现了输入图像对不同通道的激活强度

5-40 加载带有预训练权重的VGG16网络

# 注意，这个网络中包含了密集连接分类器，但是在前面的例子我们都丢弃了这个分类器
# 下面的引入网络也和原来的版本有所变化，才能正确执行4-41
# 运行这段代码的时候是有warning 的，不需要管
from tensorflow.keras.applications import VGG16
from tensorflow.keras import backend as K
import matplotlib.pyplot as plt
import tensorflow as tf
import numpy as np
tf.compat.v1.disable_eager_execution()

model = VGG16(weights = 'imagenet')

5-41 为VGG16模型预处理一张输入图像

from keras.preprocessing import image
from keras.applications.vgg16 import preprocess_input, decode_predictions
import numpy as np

img_path = r'E:\code\PythonDeep\DataSet\creative_commons_elephant.jpg'
img = image.load_img(img_path, target_size = (224, 224))

# 将三维张量改编为float32格式的numpy数组
x = image.img_to_array(img)

# 添加一个维度使其变为4D向量
x = np.expand_dims(x, axis = 0)

# 对数据进行批量处理
x = preprocess_input(x)

# 运行预训练的VGG16网络
preds = model.predict(x)
print('predict:', decode_predictions(preds, top = 3)[0])

# 打印索引编号
np.argmax(preds[0])

predict: [('n02504458', 'African_elephant', 0.9334816), ('n01871265', 'tusker', 0.06098435), ('n02504013', 'Indian_elephant', 0.00540654)]





386

5-42 应用Grad-CAM算法

# 要加上这两句，注意此处与原书不同，仅供参考
tf.compat.v1.disable_eager_execution()
# K.clear_session()

# 预测向量中“非洲象”的元素
african_elephant_output = model.output[:, 386]

# 输出最后一个卷积层对应的特征图
last_conv_layer = model.get_layer('block5_conv3')

# 非洲象类别对于block5_conv3的梯度特征图
grads = K.gradients(african_elephant_output, last_conv_layer.output)[0]

# 特征通道的平均梯度大小
pooled_grads = K.mean(grads, axis = (0, 1, 2))

# 访问刚刚定义的量
iterate =K.function([model.input], [pooled_grads,last_conv_layer.output[0]])

# 对于两个大象的样本图像，这两个向量都是numpy数组
pooled_grads_value, conv_layer_output_value = iterate([x])

for i in range(512):
    conv_layer_output_value[:, :, i] *= pooled_grads_value[i]



# 生成热力图    
heatmap = np.mean(conv_layer_output_value, axis = -1)

5-43 热力图后处理

heatmap = np.maximum(heatmap, 0)
heatmap /= np.max(heatmap)

plt.matshow(heatmap)

<matplotlib.image.AxesImage at 0x1863bed2ac8>

5-44 将热力图与原始图像叠加

import cv2

# 用cv2加载图像
img = cv2.imread(img_path)

# 将热力图的大小调整为与原始图像相同
heatmap = cv2.resize(heatmap, (img.shape[1], img.shape[0]))

# 将热力图转换为RGB格式
heatmap = np.uint8(255 * heatmap)

# 将热力图运用于原始图像
heatmap = cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)

# 设置0.4热力图强度因子
superimposed_img = heatmap * 0.4 + img

# 保存
cv2.imwrite(r'E:\code\PythonDeep\DataSet\creative_commons_elephant_heat.jpg', superimposed_img)