[人工智能]人脸landmark五点模型实战

引言

介绍如何使用卷积神经网络实现参数回归预测，本文将通过卷积神经网络实现一个回归网络预测人脸landmark，这里主要是预测最简单的五点坐标。

一、人脸五点标定数据与制作

1、数据采集与说明

• 人脸图像数据采集-1046张人脸数据
  

2、标注工具与标注

工具下载链接：Face-Annotation

• run:

python annotate_faces.py -d D:\Face-Annotation-Tool\demo

• GUI:
  

-Sample output:

D:\Face-Annotation-Tool\demo\1488.jpg  87，120,218,146,149,208,102,242,163,250,0,0,1,1

3、自定义数据集类

• Map-style数据集
• 五点标定数据集与数据加载
• Image – 图像
• Landmarks – 五点坐标

4、代码

• 注1:
  首先，神经网络里经常用到的格式一般为三种PIL，Numpy，Tensor，而Tensor是基本的数据类型，在显示Tensor类型的图像时要转换为另外两种类型，而dataset输入格式一般要求为PIL类型（因为我用要使用resize等函数，要求变量为PIL）。所以在显示图像的时候就需要先把自己的数据转换为PIL，再转换为Tensor，特别是用GPU训练时候，要注意关于使用 GPU 有一个点，在我们想把 GPU tensor 转换成 Numpy 变量的时候，需要先将 tensor 转换到 CPU 中去，因为 Numpy 是 CPU-only 的。

• 注2：卷积神经网络最重要的是解决回归和分类的问题

import torch
import numpy as np
from torch.utils.data import Dataset, DataLoader
from torchvision import transforms, utils
import cv2 as cv


class FaceLandmarksDataset(Dataset):
    def __init__(self, txt_file):
        #1、
        self.transform = transforms.Compose([transforms.ToPILImage(),
                                             transforms.Resize((64, 64)),
                                             transforms.ToTensor(),#将shape为(H, W, C)的img或nump.ndarray转为shape为(C, H, W)的tensor，其将每一个数值归一化到[0,1]
                                             transforms.Normalize(mean=[0.5, 0.5, 0.5],
                                                          std=[0.5, 0.5, 0.5]),#使用公式"(x-mean)/std"，将每个元素分布到(-1,1)
                                        ])#三个组合在一起,也是可以通过它来做数据增强的
        #2、读txt文件
        lines = []
        with open(txt_file) as read_file:
            for line in read_file:
                line = line.replace('\n', '')#replace(old, new[, max])
                lines.append(line)
        self.landmarks_frame = lines

    def __len__(self):
        return len(self.landmarks_frame)

    def num_of_samples(self):
        return len(self.landmarks_frame)

    def __getitem__(self, idx):
        if torch.is_tensor(idx):
            idx = idx.tolist()
        contents = self.landmarks_frame[idx].split('\t')#标注图，对landmark_output.txt每一行文件进行解析
        image_path = contents[0]
        img = cv.imread(image_path)  # BGR order 图像文件的地址
        #2、把landmarks变成0~1之间的
        h, w, c = img.shape
        # rescale
        # img = cv.resize(img, (64, 64))
        # img = (np.float32(img) /255.0 - 0.5) / 0.5
        landmarks = np.zeros(10, dtype=np.float32)
        for i in range(1, len(contents), 2):
            landmarks[i - 1] = np.float32(contents[i]) / w
            landmarks[i] = np.float32(contents[i + 1]) / h
        landmarks = landmarks.astype('float32').reshape(-1, 2)
        # H, W C to C, H, W
        # img = img.transpose((2, 0, 1)) 矩阵的转置

        sample = {'image': self.transform(img), 'landmarks': torch.from_numpy(landmarks)}#把img放里面，自动预处理，并且转为tensor
        return sample


if __name__ == "__main__":
    #标注好的txt文件
    ds = FaceLandmarksDataset("D:/AllKindsOfCode/PytorchClass/face_landmark_src/landmark_output.txt")
    print(len(ds))
    print("start")
    for i in range(len(ds)):

        sample = ds[i]
        print(ds[i])
        #print(i, sample['image'].size(), sample['landmarks'].size())
        #结果：0 torch.Size([3, 64, 64]) torch.Size([5, 2])
        # 1 torch.Size([3, 64, 64]) torch.Size([5, 2])
        # 2 torch.Size([3, 64, 64]) torch.Size([5, 2])
        # 3 torch.Size([3, 64, 64]) torch.Size([5, 2])
        if i == 3:
            break

    dataloader = DataLoader(ds, batch_size=4, shuffle=True)
    # data loader
    for i_batch, sample_batched in enumerate(dataloader):
        print(i_batch, sample_batched['image'].size(), sample_batched['landmarks'].size())
        #结果:0~260
        # 0
        # torch.Size([4, 3, 64, 64])
        # torch.Size([4, 5, 2])
        # 1
        # torch.Size([4, 3, 64, 64])
        # torch.Size([4, 5, 2])
        # 2
        # torch.Size([4, 3, 64, 64])
        # torch.Size([4, 5, 2])
        print("")

二、模型设计与推理

三、部署推理