pytorch/MNIST/手写数据集识别/重写dataset/使用自己制作的数据库来完成模型的正确率检测
第一次发博文,可能有不周到之处敬请指出!(文章编辑快捷键用的就很爽)
本文针对使用MNIST数据库训练,用自己手写的数据来完成模型的验证。
MNIST模型代码
在此贴一个链接: pytorch中文手册,网页版 注意使用pycharm用户代码移植时将代码中test函数要更改,不然会进入实例化测试线程(血泪教训)
重写dataset函数
这段我也是参考的本站中一位大佬的代码,可移步: Pytorch自定义加载数据–自定义Dataset
大家可以先使用大佬代码,接下来我会对我出现的错误逐一更正(更正用时:~8h,实属菜鸡)
重头戏——debug
主要是针对重写的dataset函数修改。 因为代码移植后会报很多错误。
1
img = io.imread(img_path)
我使用的自己的数据集是RGBA的,读入后会显示要输入通道数和数据图片的通道数不一致,为了与输入通道数一致,转化为灰度图片,所以我改为:
from PIL import Image
img = Image.open(img_path).convert('L')
2
原文为:
sample = {'image':img,'label':label}
if self.transform:
sample = self.transform(sample)
return sample
这段用字典类型盛放数据我没搞懂,但是确实在debug时候报错了,说是dict不能用,要用其他类型数据,我参考了其他代码,这样改动:
if self.transform:
img = self.transform(img)
return img,label
好啦!
3
那个大佬在transform时候使用了None,他的原文如下:
data = AnimalData('E:/Python Project/PyTorch/dogs-vs-cats/train',transform=None)
但是我还是报错了,报错信息如下:
TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found <class 'PIL.Image.Image'>
我将transform的None改成和MNIST数据集预处理的transform一样,代码如下:
data = AnimalData('E:/Python Project/PyTorch/dogs-vs-cats/train',transform=transform=transforms.Compose([
transforms.ToTensor(),
transforms.Normalize((0.1307,), (0.3081,))
]))
我们数据集路径与他不同,此处仅参考transform变化即可。
总结
经过菜鸡的不断反复折腾,这玩意终于可以出来结果,并且正确率还行(70~80%),虽然有usewaring,但不影响结果的最终输出。
可能因为环境配置和数据源的不同导致了我的上述报错,此贴单纯当作记录和给在图像处理的萌新一些参考,因为我也是,,,, 如果大家有源代码和数据集实机演示需求可留言,我会上传的
|