[人工智能]头歌平台-人脸识别系统——Dlib人脸特征提取

EduCoder平台：人脸识别系统——Dlib人脸特征提取

第1关：检测人脸特征点

编程要求：

请在右侧编辑器中的BEGIN-END之间编写代码，使用Dlib检测人脸特征点并打印：

• • 导入OpenCV和Dlib库；
• • 读取指定image_path图像；
• • 将图片转化为灰度图；
• • 使用正向人脸检测器检测并获取人脸；
• • 使用训练好的能检测68个人脸特征点的模型，检测特征点；
• • 打印出对应的特征点(打印函数已经默认写好，无需修改)。

代码如下：

import cv2
import dlib

# 读取图片
img_path = "step1/image/face.jpg"
img=cv2.imread(img_path)
#转换为灰阶图片
gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)


# 正向人脸检测器
detector = dlib.get_frontal_face_detector()
# 使用训练完成的68个特征点模型
predictor_path = "data/shape_predictor_68_face_landmarks.dat"
predictor = dlib.shape_predictor(predictor_path)

# 使用检测器来检测图像中的人脸
faces =detector(gray,1) 

print("人脸数: ", len(faces))

for i, face in enumerate(faces):
    print("第", i+1, "个人脸的矩形框坐标：\n","left:", face.left(), "right:", face.right(), "top:", face.top(), "bottom:", face.bottom())
    # 获取人脸特征点
    shape = predictor(img,face)
    print("第", i+1, '个人脸的特征点:')
    print(shape.parts())
    

第2关：绘制人脸特征点

编程要求：

请在右侧编辑器中的BEGIN-END之间编写代码，使用OpenCV绘制人脸特征点，并保存图片到指定路径：

• • 圆心半径为 1；
• • 颜色设定为绿色(0,255,0)；
• • 粗细为 2。

代码如下：

import cv2
import dlib

# 读取图片
img_path = "step2/image/face.jpg"
img = cv2.imread(img_path)

# 转换为灰阶图片
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 正向人脸检测器
detector = dlib.get_frontal_face_detector()

# 使用训练完成的68个特征点模型
predictor_path = "data/shape_predictor_68_face_landmarks.dat"
predictor = dlib.shape_predictor(predictor_path)

# 使用检测器来检测图像中的人脸
faces = detector(gray, 1)
for i, face in enumerate(faces):
    # 获取人脸特征点
    shape = predictor(img, face)

    '''****************BEGIN****************'''
    for pt in shape.parts():
        pt_pos=(pt.x,pt.y)
        cv2.circle(img,pt_pos,1,(0,255,0),2)

    '''**************** END ****************'''
    cv2.imwrite('step2/out/face.jpg', img)

第3关：训练人脸特征点模型

编程要求：

恭喜你学习完如何训练自己的人脸特征点检测器，请在右侧编辑器中的BEGIN-END之间编写代码，完成一个人脸检测器，并应用到新的图片上：

• 定义模型训练需要的参数, 其中：oversampling_amount 参数设置为100，正则化nu设置为0.05，数的深度 tree_depth 设置为1，be_verbose属性设置为假(False)；

• 调用训练模型函数；

• 调用测试模型函数；

• 使用刚才训练完成的人脸特征点检测器进行检查；

• 获取每一个人脸区域内的特征点，使用OpenCV绘制特征点, 点的颜色设定为蓝色(0, 0, 255)，粗细为3；

• 保存图片到指定路径（代码中已经写好路径）。

代码如下：

import os
import sys
import cv2
import dlib
import glob

# 数据集路径
faces_folder = 'step3/dataSet'

'''****************BEGIN****************'''
# 1. 定义模型训练需要的参数
options=dlib.shape_predictor_training_options()
'''**************** END ****************'''

'''****************BEGIN****************'''
# 2.参数设定
# 通过对训练样本进行随机变形扩大样本数目
options.oversampling_amount=100
# 通过增加正则化（将nu调小）和使用更小深度的树来降低模型的容量
options.nu=0.05
options.tree_depth=1
options.be_verbose = False
'''**************** END ****************'''

# 3. 调用测试模型函数
# 训练集路径
training_xml_path = os.path.join(
    faces_folder, "training_with_face_landmarks.xml")
'''****************BEGIN****************'''
dlib.train_shape_predictor(training_xml_path,"predictor.dat",options)
'''**************** END ****************'''

print('模型训练完成')

# 4. 使用人脸特征点检测器模型

# 人脸区域检测器
detector = dlib.get_frontal_face_detector()
# 从本地导入人脸特征点检测器
'''****************BEGIN****************'''
predictor=dlib.shape_predictor("predictor.dat")
'''**************** END ****************'''

# 检测人脸以及人脸特征点
faces_folder = 'step3/image/'

for f in glob.glob(os.path.join(faces_folder, "*.jpg")):
    print("处理文件: {}".format(f))

    # 加载图片
    img = dlib.load_rgb_image(f)
    # 检测图片
    dets = detector(img, 1)

    print("检测到的人脸个数为: {}".format(len(dets)))

    # 遍历图片中识别出的每一个人脸
    for k, d in enumerate(dets):
        # 打印人脸区域位置
        print("人脸区域 {}: Left: {} Top: {} Right: {} Bottom: {}".format(k, d.left(), d.top(), d.right(), d.bottom()))
        # 获取每一个人脸区域内的特征点
        shape = predictor(img, d)
        # 遍历所有点，绘制特征点
        for pt in shape.parts():
            pt_pos = (pt.x, pt.y)
            '''****************BEGIN****************'''
            cv2.circle(img,pt_pos,2,(0,0,255),3)
            '''**************** END ****************'''

        # 图片保存路径
        save_path = 'step3/out/face-landmark.jpg'
        img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        '''****************BEGIN****************'''
        # 保存图片
        cv2.imwrite(save_path,img)
        '''**************** END ****************'''
        if os.path.exists(save_path):
            print('保存检测后图片成功')