[人工智能]pytorch之dataset使用

前言：按照深度学习项目的流程，最初的步骤就是组织数据集，pytorch中提供了常用的深度学习图像数据集，cifar10，coco，imagenet等等，也提供了处理输入数据的工具DataLoader, transforms等工具，非常之方便。本篇将详细介绍使用pytorch加载、处理数据集，并使用nn.Module搭建简单cifar10图像分类模型。

之所以选择cifar10数据集，是因为它比较小，好操作，不要求大量资源。

1、数据集的加载

import torch.utils.data
import torch
import torchvision
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

cifar_data = torchvision.datasets.CIFAR10('./data', train=False, transform=transforms.ToTensor(), download=True)
print(len(cifar_data), type(cifar_data))

target_classes = cifar_data.classes

使用torchvision中datasets加载对应数据集，需要指定数据集存放文件夹，下载训练集还是验证集，下载的图像是PIL类型的文件，可以在这一步进行类型转换为Tensor，并进行下载。对于数据加载这种I/O密集形任务，可设置num_workers多线程进行数据的转换处理和加载，加快处理速度。cifar_data中一个字段中包含一个3*32*32的图像tensor和一个target，cifar_data.classes是target对应的类别标签，为列表类型。

2、图像数据transform

图像数据的变换：下载数据集时在transform参数中设置了ToTensor的转换，但通常为了提高模型的泛化能力，更好的学习图像的域不变特征，需要对图像数据进行一系列的增强处理。transform.Compose可以将多种变换按顺序组成一个pipline，不需要额外对数据集进行增强处理，‘end-to-end’更方便。

transform = transforms.Compose([
    # transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
    # transforms.GaussianBlur(kernel_size=3, sigma=(0.1, 2.0)),
    # transforms.RandomCrop(size=30),
    # transforms.RandomGrayscale(p=0.1)
])
test_img = cifar_data[0][0]
print(test_img)
print('******transforms******')
transform_img = transform(test_img)
print(transform_img)
print(transform_img.shape)

其中对Normalize做了实验，参数mean和std是对图像数据集进行抽样并分别对三个通道计算统计量均值和方差得到的，是为对输入图像进行归一化，计算公式 ：

output[channel]?=?(input[channel]?-?mean[channel])?/?std[channel]

?GaussianBlur对图像添加高斯模糊，模糊范围核算子的大小为3，均值方差分别为0.1，2。

RandomCrop对图像进行随机裁剪，尺寸大小为30*30。

RandomGrayscale对图像进行随机灰度变换。transforms中几乎涵盖了人工数据增强的所有操作。

?

3、tensorboard图像数据展示

将加载的数据集创建一个DataLoader，batchsize设为128，shuffle代表随机分配每个batch中的图像。用writer将每个batch的图像添加到tensorboard中，运行完成之后，在terminal中输入命令tensorboard --logdir=log回车，在浏览器中打开得到的链接就可查看可视化效果。

from torch.utils.tensorboard import SummaryWriter

cifar_data_loader = torch.utils.data.DataLoader(cifar_data, batch_size=128, shuffle=True)
writer = Summarywriter(log_dir='./log')
global_step = 0
for data in cifar_data_loader:
    imgs, targets = data
    writer.add_images('train_data', imgs, global_step)
    global_step += 1
writer.close()

tensorboard做可视化效果很好，后续在模型训练过程中会使用tensorboard可视化loss的变化情况，方便分析和调整模型的训练效果。

至此数据集的加载就已经准备完毕，下一步就是搭建模型并进行训练。待续！