[Python知识库]正本清源！！！！！！：HWDB1.1数据集.gnt转换成.png

你们一个两个的复制转载的爽不爽啊，

从知乎来的东西来了5，6个原创，厉害了，有丝分裂了属于是。

复制就算了，还不能用！！！！我搞个学习招谁惹谁谁了。

感谢一位同样被坑的老哥的评论才发现问题

感谢

@weixin_41850288：

下面是代码

import os
import numpy as np
import struct
from PIL import Image
# data文件夹存放转换后的.png文件
data_dir = 'data'
# 路径为存放数据集解压后的.gnt文件
train_data_dir ="D:/python/github/1/handwriting-master/data"
test_data_dir ="D:/python/github/1/picture"


def read_from_gnt_dir(gnt_dir=train_data_dir):
    def one_file(f):
        header_size = 10
        while True:
            header = np.fromfile(f, dtype='uint8', count=header_size)
            if not header.size: break
            sample_size = header[0] + (header[1] << 8) + (header[2] << 16) + (header[3] << 24)
            tagcode = header[5] + (header[4] << 8)
            width = header[6] + (header[7] << 8)
            height = header[8] + (header[9] << 8)
            if header_size + width * height != sample_size:
                break
            image = np.fromfile(f, dtype='uint8', count=width * height).reshape((height, width))
            yield image, tagcode

    for file_name in os.listdir(gnt_dir):
        if file_name.endswith('.gnt'):
            file_path = os.path.join(gnt_dir, file_name)
            with open(file_path, 'rb') as f:
                for image, tagcode in one_file(f):
                    yield image, tagcode


char_set = set()
for _, tagcode in read_from_gnt_dir(gnt_dir=train_data_dir):
    tagcode_unicode = struct.pack('>H', tagcode).decode('gbk')
    char_set.add(tagcode_unicode)
char_list = list(char_set)
char_dict = dict(zip(sorted(char_list), range(len(char_list))))
print(len(char_dict))
print("char_dict=", char_dict)

import pickle

f = open('char_dict', 'wb')
pickle.dump(char_dict, f)
f.close()
train_counter = 0
test_counter = 0
for image, tagcode in read_from_gnt_dir(gnt_dir=train_data_dir):
    tagcode_unicode = struct.pack('>H', tagcode).decode('gbk')
    im = Image.fromarray(image)
# 路径为data文件夹下的子文件夹，train为存放训练集.png的文件夹
    dir_name = 'data/train/' + '%0.5d' % char_dict[tagcode_unicode]
    print(dir_name)
    if not os.path.exists(dir_name):
        os.makedirs(dir_name)
    im.convert('RGB').save(dir_name + '/' + str(train_counter) + '.png')
    print("train_counter=", train_counter)
    train_counter += 1
print('Train transformation finished ...')
for image, tagcode in read_from_gnt_dir(gnt_dir=test_data_dir):
    tagcode_unicode = struct.pack('>H', tagcode).decode('gbk')
    im = Image.fromarray(image)
# 路径为data文件夹下的子文件夹，test为存放测试集.png的文件夹
    dir_name = 'data/test/' + '%0.5d' % char_dict[tagcode_unicode]
    if not os.path.exists(dir_name):
        os.makedirs(dir_name)
    im.convert('RGB').save(dir_name + '/' + str(test_counter) + '.png')
    print("test_counter=", test_counter)
    test_counter += 1
print('Test transformation finished ...')

修复了这些问题：

老哥的：直接拿过来当原创发呗？抄就不过脑硬抄？几个问题： 1.data_dir变量就开始创建了之后直接废弃了？后面写dir_name的时候干嘛不用data_dir + '/test/'这样写呢？ 2.os.path.join()如果有一个组件是一个绝对路径，则在它之前的所有组件均会被舍弃, 所以不知道用这个函数意义何在？直接train_data_dir = E:/code/tfrecord_png/HWDB1.1trn_gnt' 不就好了？ 3.os.mkdir()只能创建一层目录，如果父目录不存在就直接报错，你这连着创两层目录，/test/00001，这函数不报错就怪了。把os.mkdir改成os.makedirs才能跑

我的：gb123改为gbk编码模式。

还有一个置换代码：

#coding=utf-8
import struct
import os
from PIL import Image
DATA_PATH="D:/python/github/1/handwriting-master/data" #gnt数据文件路径
IMG_PATH="D:/python/github/1/picture"#解析后的图片存放路径
files=os.listdir(DATA_PATH)
num=0
for file in files:
    tag = []
    img_bytes = []
    img_wid = []
    img_hei = []
    f=open(DATA_PATH+"/"+file,"rb")
    while f.read(4):
        tag_code=f.read(2)
        tag.append(tag_code)
        width=struct.unpack('<h', bytes(f.read(2)))
        height=struct.unpack('<h',bytes(f.read(2)))
        img_hei.append(height[0])
        img_wid.append(width[0])
        data=f.read(width[0]*height[0])
        img_bytes.append(data)
    f.close()
    print(files)
    print(tag[3].decode('utf-8'))
    print(tag[3])

    for k in range(0, len(tag)):
        im = Image.frombytes('L', (img_wid[k], img_hei[k]), img_bytes[k])
        if os.path.exists(IMG_PATH + "/" + tag[k].decode('gbk')):
            im.save(IMG_PATH + "/" + tag[k].decode('gbk') + "/" + str(num) + ".jpg")
        else:
            os.makedirs(IMG_PATH + "/" + tag[k].decode('gbk'))
            im.save(IMG_PATH + "/" + tag[k].decode('gbk') + "/" + str(num) + ".jpg")
    num = num + 1
print(tag.__len__())

files=os.listdir(IMG_PATH)
n=0
f=open("label.txt","w") #创建用于训练的标签文件
for file in files:
    files_d=os.listdir(IMG_PATH+"/"+file)
    for file1 in files_d:
        f.write(file+"/"+file1+" "+str(n)+"\n")
    n=n+1

这个代码的问题处在makedirs的时候无法创建目录，应该是那位老哥说的原因（两个虚空目录）

学习python和深度学习时间比较短，如果有好的解决方法的望在评论区周知。

万分感谢。

ps（文章为原创的原因是找不到前一个代码的初始作者，第二个代码会表明知乎地址）

深度学习-Caffe框架下训练HWDB手写训练集（一） - 知乎 (zhihu.com)