IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> Python知识库 -> 基于vgg16网络的特征图可视化 -> 正文阅读

[Python知识库]基于vgg16网络的特征图可视化

参考:
https://blog.csdn.net/qq_44442727/article/details/112977805
https://blog.csdn.net/random_repick/article/details/115526700
https://blog.csdn.net/weixin_39450145/article/details/104801730

一、设备及环境
win7
anaconda3 2019.03(Python 3.7.3 64-bit)
PyCharm 2021.1.3

二、遇到过的问题
1、import cv2出错ModuleNotFoundError: No module named ‘cv2’

解决:
pip install opencv-python (如果只用主模块,使用这个命令安装)
pip install opencv-contrib-python (如果需要用主模块和contrib模块,使用这个命令安装)

pip list查看已有包
在这里插入图片描述
2、运行报错

在这里插入图片描述
解决:查看发现只存在D:\PycharmProjects\pythonProject2路径,因此手动在pythonProject2文件夹中新建文件夹fm,fm中新建名称为2的文件夹。

运行成功
在这里插入图片描述

三、完整代码

import torch
from torchvision import models, transforms
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np
import scipy.misc
import cv2, imageio
 
 
# 将输入图片转化为卷积运算格式tensor数据
def transfer_image(image_dir):
    # 以RGB格式打开图像
    # Pytorch DataLoader就是使用PIL所读取的图像格式
    # 建议就用这种方法读取图像,当读入灰度图像时convert('')
    image_info = Image.open(image_dir).convert('RGB')
    # 数据预处理方法
    image_transform = transforms.Compose([
        transforms.Resize(1024),#放缩图片大小至1024*1024
        transforms.CenterCrop(672),#从图象中间剪切672*672大小
        transforms.ToTensor(),#将图像数据转化为tensor
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])#归一化处理
    ])
    image_info = image_transform(image_info)#更新载入图像的数据格式
    #下面这部分是tensor张量转化为图片的过程,opencv画图和PIL、torch画图方式
    # array1 = image_info.numpy()
    # maxvalue = array1.max()
    # array1 = array1*255 / maxvalue
    # mat = np.uint8(array1)
    # print('mat_shape',mat.shape)
    # mat = mat.transpose(1,2,0)
    # cv2.imwrite('convert_cocomi1.jpg',mat)
    # mat=cv2.cvtColor(mat,cv2.COLOR_BGR2RGB)
    # cv2.imwrite('convert_cocomi2.jpg',mat)

    image_info = image_info.unsqueeze(0)#增加tensor维度,便于卷积层进行运算
    return image_info
 
# 获取第k层的特征图
def get_k_layer_feature_map(feature_extractor, k, x):
    with torch.no_grad():
   		 #feature_extractor是特征提取层,后面可以具体看一下vgg16网络
        for index,layer in enumerate(feature_extractor):
            x = layer(x)#x是输入图像的张量数据,layer是该位置进行运算的卷积层,就是进行特征提取
            # print('k values:',k)
            # print('feature_extractor layer:',index)
            if k == index:#k代表想看第几层的特征图
          
                return x
 
#  可视化特征图
def show_feature_map(feature_map, k):
    feature_map = feature_map.squeeze(0)#squeeze(0)实现tensor降维,开始将数据转化为图像格式显示
    feature_map = feature_map.cpu().numpy()#进行卷积运算后转化为numpy格式
    feature_map_num = feature_map.shape[0]#特征图数量等于该层卷积运算后的特征图维度
    # row_num = np.ceil(np.sqrt(feature_map_num))
    # plt.figure()
    for index in range(1, feature_map_num+1):
        fw = np.int64(feature_map[index-1] > 0)
        imageio.imwrite("fm/"+str(k)+'/'+str(index)+".png", fw)
    # plt.show()
 

if __name__ ==  '__main__':
    # 初始化图像的路径
    image_dir = 'images/hw.jpg'
    # 定义提取第几层的feature map
    k = 2
    # 导入Pytorch封装的vgg16网络模型
    model = models.vgg16(pretrained=False)
    # 是否使用gpu运算
    use_gpu = torch.cuda.is_available()
    use_gpu =False
    # 读取图像信息
    image_info = transfer_image(image_dir)
    # 判断是否使用gpu
    if use_gpu:
        model = model.cuda()
        image_info = image_info.cuda()
    # vgg16包含features和classifier,但只有features部分有特征图
    # classifier部分的feature map是向量
    feature_extractor = model.features
    feature_map = get_k_layer_feature_map(feature_extractor, k, image_info)
    show_feature_map(feature_map, k)

四、以下内容是粘贴别人的,暂时先放着,等我理解了再回来改

首先是一张三通道的彩色图像进入卷积层,进行运算的时候,图像是分成三个通道单独进行卷积操作再相加得到特征图,经过第一层卷积层时,有64个卷积核(人为设置),与每一个卷积核运算都会产生一张特征图,这时,一张图像的输出就变成了64维的特征图,就是64张特征图,并以tensor的形式流动,后续的卷积池化都是这个原理。
有时一次处理多张图片时,tensor的形式又会有新变化,大家可以看这个:mini-batch批处理https://blog.csdn.net/qq_44442727/article/details/112972167
进行卷积运算后,特征图仍然以张量的形式存在,要想特征图可视化,就要将tensor转化为numpy形式可以让cv库画出来。这些可以从贴出代码去理解,具体画图方式的区别是:opencv支持的图像数据是numpy格式,数据类型为uint8,像素值分布在[0,255], 但是tensor数据像素值并不是分布在[0,255],且数据类型为float32,所以需要做一下normalize和数据变换,将图像数据扩展到[0,255]。还有一点是tensor和numpy存储的数据维度顺序不同,需要transpose进行转化对应。还有是opencv中的颜色通道顺序是BGR而PIL、torch里面的图像颜色通道是RGB,利用cvtColor对颜色通道进行转换。

  Python知识库 最新文章
Python中String模块
【Python】 14-CVS文件操作
python的panda库读写文件
使用Nordic的nrf52840实现蓝牙DFU过程
【Python学习记录】numpy数组用法整理
Python学习笔记
python字符串和列表
python如何从txt文件中解析出有效的数据
Python编程从入门到实践自学/3.1-3.2
python变量
上一篇文章      下一篇文章      查看所有文章
加:2021-08-01 14:27:47  更:2021-08-01 14:30:13 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/19 8:18:27-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码