开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> Opencv项目实战：10 面部特征提取及添加滤镜 -> 正文阅读

[人工智能]Opencv项目实战：10 面部特征提取及添加滤镜

1、效果展示

这是打开摄像头的展示，用的手机的图片，我是十分的不好意思露面，诸位看看效果就好。

让我们来看看图片的形式吧：

?很不错的死亡芭比粉，效果也是相当不错的，而且图片不像摄像头那样，它的展示效果更好。

2、项目介绍

本次项目，我将采取dlib和shape_predictor_68_face_landmarks.dat文件，为图像添加蒙版，更改嘴唇的色号，如果你想修改其他的部位，它的方法是同理的，除此之外，我还会让图片显示出脸部的68个地表，请敬请期待吧！

3、项目搭建

本次项目的搭建只是需要找到官网下载的一个文件。

点击这里进入?Index of /files (dlib.net)

你会看见这个页面：

紧接着，我们拉到最底下，下载这个文件。

请注意，你所下载下来的文件是个压缩包，只有解压后才能使用。以上是所需文件的来源。

由于GitHub上面上传的东西不能超过25MB，所以这一步需要你自己去下载。

?1.png为我们图像所要检测的，2.jpg为视频中检测的。

4、代码展示与讲解

import cv2
import numpy as np
import dlib

webcam = False
cap = cv2.VideoCapture(0)
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

def empty(a):
    pass

cv2.namedWindow("BGR")
cv2.resizeWindow("BGR", 640, 240)
cv2.createTrackbar("Blue", "BGR", 153, 255, empty)
cv2.createTrackbar("Green", "BGR", 0, 255, empty)
cv2.createTrackbar("Red", "BGR", 137, 255, empty)

def createBox(img, points, scale=5, masked=False, cropped=True):
    if masked:
        mask = np.zeros_like(img)
        mask = cv2.fillPoly(mask, [points], (255, 255, 255))
        img = cv2.bitwise_and(img, mask)
        # cv2.imshow('Mask',mask)

    if cropped:
        bbox = cv2.boundingRect(points)
        x, y, w, h = bbox
        imgCrop = img[y:y + h, x:x + w]
        imgCrop = cv2.resize(imgCrop, (0, 0), None, scale, scale)
        cv2.imwrite("Mask.jpg", imgCrop)
        return imgCrop
    else:
        return mask


while True:

    if webcam:
        success, img = cap.read()
    else:
        img = cv2.imread('1.png')
    img = cv2.resize(img, (0, 0), None, 0.80, 0.80)
    imgOriginal = img.copy()
    imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    faces = detector(imgOriginal)
    for face in faces:
        x1, y1 = face.left(), face.top()
        x2, y2 = face.right(), face.bottom()
        # imgOriginal=cv2.rectangle(imgOriginal, (x1, y1), (x2, y2), (0, 255, 0), 2)
        landmarks = predictor(imgGray, face)
        myPoints = []
        for n in range(68):
            x = landmarks.part(n).x
            y = landmarks.part(n).y
            myPoints.append([x, y])
            # cv2.circle(imgOriginal, (x, y), 5, (50,50,255),cv2.FILLED)
            # cv2.putText(imgOriginal,str(n),(x,y-10),cv2.FONT_HERSHEY_COMPLEX_SMALL,0.8,(0,0,255),1)
        # print(myPoints)
        if len(myPoints) != 0:
            try:
                myPoints = np.array(myPoints)
                imgEyeBrowLeft = createBox(img, myPoints[17:22])
                imgEyeBrowRight = createBox(img, myPoints[22:27])
                imgNose = createBox(img, myPoints[27:36])
                imgLeftEye = createBox(img, myPoints[36:42])
                imgRightEye = createBox(img, myPoints[42:48])
                imgLips = createBox(img, myPoints[48:61])
                cv2.imshow('Left Eyebrow', imgEyeBrowLeft)
                cv2.imshow('Right Eyebrow', imgEyeBrowRight)
                cv2.imshow('Nose', imgNose)
                cv2.imshow('Left Eye', imgLeftEye)
                cv2.imshow('Right Eye', imgRightEye)
                cv2.imshow('Lips', imgLips)

                maskLips = createBox(img, myPoints[48:61], masked=True, cropped=False)
                imgColorLips = np.zeros_like(maskLips)
                b = cv2.getTrackbarPos("Blue", "BGR")
                g = cv2.getTrackbarPos("Green", "BGR")
                r = cv2.getTrackbarPos("Red", "BGR")

                imgColorLips[:] = b, g, r
                imgColorLips = cv2.bitwise_and(maskLips, imgColorLips)
                imgColorLips = cv2.GaussianBlur(imgColorLips, (7, 7), 10)

                imgOriginalGray = cv2.cvtColor(imgOriginal, cv2.COLOR_BGR2GRAY)
                imgOriginalGray = cv2.cvtColor(imgOriginalGray, cv2.COLOR_GRAY2BGR)
                imgColorLips = cv2.addWeighted(imgOriginalGray, 1, imgColorLips, 0.4, 0)
                cv2.imshow('BGR', imgColorLips)

            except:
                pass

    cv2.imshow("Originial", imgOriginal)
    if cv2.waitKey(1) == 27:
        break

今天的讲解方式不一样，这个代码是完成最终效果后的，大家要理解这其中的道理还需要借助已经注释掉的内容，所幸我今天下午才做好，带着大家过一过思路吧。

大家看我的题目就知道是分为两个部分的；请注意，如果你没有看过我的实战项目(1条消息) Opencv项目实战：07 人脸识别和考勤系统_夏天是冰红茶的博客-CSDN博客，请看看此篇。你也可以直接跳转到这里，查看dlib的下载方法(1条消息) Python3.7最简便的方式解决下载dlib和face_recognition的问题_夏天是冰红茶的博客-CSDN博客

part1?面部特征提取

import cv2
import numpy as np
import dlib

img = cv2.imread('1.png')
img = cv2.resize(img, (0, 0), None, 0.80, 0.80)
imgOriginal = img.copy()

detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = detector(imgOriginal)

for face in faces:
    x1, y1 = face.left(), face.top()
    x2, y2 = face.right(), face.bottom()
    imgOriginal=cv2.rectangle(imgOriginal, (x1, y1), (x2, y2), (0, 255, 0), 2)
    landmarks = predictor(imgGray, face)
    myPoints = []
    for n in range(68):
        x = landmarks.part(n).x
        y = landmarks.part(n).y
        myPoints.append([x, y])
        cv2.circle(imgOriginal, (x, y), 5, (50,50,255),cv2.FILLED)
        cv2.putText(imgOriginal,str(n),(x,y-10),cv2.FONT_HERSHEY_COMPLEX_SMALL,0.8,(0,0,255),1)
    print(myPoints)

cv2.imshow("Originial", imgOriginal)
cv2.waitKey(0)

在讲解之前，我们先来看看它的效果图：

相当的棒，各位也看到了，我们是成功识别了面部，并得到了68个面部特征。

首先，包的引入，读取图片，修改图片的大小，copy原图像，都是相当基础的操作了。detector变量用来接受返回默认人脸检测器，找到图中的脸；
接着需要一个预测变量，用dlib.shape_predictor来获得我们下载的检测面部68个特征的文件。将copy后的图像传入检测器，在for循环当中检测出我们的边界框，内部嵌入中的x，y是作为dlib点的对象的单个部分，画出这个点，并标记出它的数值；
最后，展示我们最终的图像。

part2 提取面部的某个部分

这次先看我们的效果图，我们的目的是为了提取出相应的脸部部位。?

import cv2
import numpy as np
import dlib

detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

def createBox(img, points, scale=3):
    bbox = cv2.boundingRect(points)
    x, y, w, h = bbox
    imgCrop = img[y:y + h, x:x + w]
    imgCrop = cv2.resize(imgCrop, (0, 0), None, scale, scale)
    return imgCrop

img = cv2.imread('1.png')
img = cv2.resize(img, (0, 0), None, 0.80, 0.80)
imgOriginal = img.copy()
imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = detector(imgOriginal)

for face in faces:
    x1, y1 = face.left(), face.top()
    x2, y2 = face.right(), face.bottom()
    imgOriginal=cv2.rectangle(imgOriginal, (x1, y1), (x2, y2), (0, 255, 0), 2)
    landmarks = predictor(imgGray, face)
    myPoints = []
    for n in range(68):
        x = landmarks.part(n).x
        y = landmarks.part(n).y
        myPoints.append([x, y])
        # cv2.circle(imgOriginal, (x, y), 5, (50,50,255),cv2.FILLED)
        # cv2.putText(imgOriginal,str(n),(x,y-10),cv2.FONT_HERSHEY_COMPLEX_SMALL,0.8,(0,0,255),1)
    myPoints = np.array(myPoints)
    imgEyeBrowLeft = createBox(img, myPoints[17:22])
    imgEyeBrowRight = createBox(img, myPoints[22:27])
    imgNose = createBox(img, myPoints[27:36])
    imgLeftEye = createBox(img, myPoints[36:42])
    imgRightEye = createBox(img, myPoints[42:48])
    imgLips = createBox(img, myPoints[48:61])
    cv2.imshow('Left Eyebrow', imgEyeBrowLeft)
    cv2.imshow('Right Eyebrow', imgEyeBrowRight)
    cv2.imshow('Nose', imgNose)
    cv2.imshow('Left Eye', imgLeftEye)
    cv2.imshow('Right Eye', imgRightEye)
    cv2.imshow('Lips', imgLips)
    
cv2.imshow("Originial", imgOriginal)
cv2.waitKey(0)

效果图展示的只是左眼，而在我们的代码里面我们提取的特征有左、右眉毛；左、右眼睛；鼻子，嘴唇等。而在这里新写的createBox函数，我们还会继续拓展，所以在此处略过。

part3?建立面部的蒙版

我们知道，在上色时我们需要准确的位置，不能用矩形，而要用多边形，这就需要我们知道嘴唇精确的点，为求方便，我们就来看嘴唇部分的蒙版。

import cv2
import numpy as np
import dlib

detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

def createBox(img, points, scale=3):
    mask = np.zeros_like(img)
    mask = cv2.fillPoly(mask, [points], (255, 255, 255))
    img = cv2.bitwise_and(img, mask)      
    cv2.imshow('Mask',mask)

    bbox = cv2.boundingRect(points)
    x, y, w, h = bbox
    imgCrop = img[y:y + h, x:x + w]
    imgCrop = cv2.resize(imgCrop, (0, 0), None, scale, scale)
    return imgCrop

img = cv2.imread('1.png')
img = cv2.resize(img, (0, 0), None, 0.80, 0.80)
imgOriginal = img.copy()
imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = detector(imgOriginal)

for face in faces:
    x1, y1 = face.left(), face.top()
    x2, y2 = face.right(), face.bottom()
    imgOriginal=cv2.rectangle(imgOriginal, (x1, y1), (x2, y2), (0, 255, 0), 2)
    landmarks = predictor(imgGray, face)
    myPoints = []
    for n in range(68):
        x = landmarks.part(n).x
        y = landmarks.part(n).y
        myPoints.append([x, y])
    myPoints = np.array(myPoints)
    imgLips = createBox(img, myPoints[48:61])
    cv2.imshow('Lips', imgLips)

cv2.imshow("Originial", imgOriginal)
cv2.waitKey(0)

?它的效果图是这样的：

?对其中的createBox函数进行修改

cv2.imshow('Mask',img)

?我们会得到下面的图，很成果的得到了我们想要的效果，在这里我主要是想要展示蒙版与位运算的关系，本人学过ps和pr，所以对于蒙版还是比较了解的，而在我初学时对于蒙版这个概念真的是闻所未闻，所以我在这里多提了一嘴。

?part4?为原图像上色

import cv2
import numpy as np
import dlib

detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

def createBox(img, points, scale=3, masked=False, cropped=True):
    if masked:
        mask = np.zeros_like(img)
        mask = cv2.fillPoly(mask, [points], (255, 255, 255))
        img = cv2.bitwise_and(img, mask)
        # cv2.imshow('Mask',mask)

    if cropped:
        bbox = cv2.boundingRect(points)
        x, y, w, h = bbox
        imgCrop = img[y:y + h, x:x + w]
        imgCrop = cv2.resize(imgCrop, (0, 0), None, scale, scale)
        cv2.imwrite("Mask.jpg", imgCrop)
        return imgCrop
    else:
        return mask

img = cv2.imread('1.png')
img = cv2.resize(img, (0, 0), None, 0.80, 0.80)
imgOriginal = img.copy()
imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = detector(imgOriginal)

for face in faces:
    x1, y1 = face.left(), face.top()
    x2, y2 = face.right(), face.bottom()
    landmarks = predictor(imgGray, face)
    myPoints = []
    for n in range(68):
        x = landmarks.part(n).x
        y = landmarks.part(n).y
        myPoints.append([x, y])

    myPoints = np.array(myPoints)
    maskLips = createBox(img, myPoints[48:61], masked=True, cropped=False)

    imgColorLips = np.zeros_like(maskLips)
    imgColorLips[:] = 153, 0, 158
    imgColorLips = cv2.bitwise_and(maskLips, imgColorLips)     
    imgColorLips = cv2.GaussianBlur(imgColorLips, (7, 7), 10)  
    imgColorLips = cv2.addWeighted(imgOriginal, 1, imgColorLips, 0.4, 0)   
    cv2.imshow('Color', imgColorLips)
    cv2.imshow('Lips', maskLips)

cv2.imshow("Originial", imgOriginal)
cv2.waitKey(0)

我重点标记一下这些：

imgColorLips = cv2.bitwise_and(maskLips, imgColorLips)     #用位运算将蒙版与纯颜色背景板结合起来
imgColorLips = cv2.GaussianBlur(imgColorLips, (7, 7), 10)   #添加高斯模糊，不让图像变得生硬
imgColorLips = cv2.addWeighted(imgOriginal, 1, imgColorLips, 0.4, 0)   #配置权重，使颜色与嘴唇更加融合

详情请看注释，我们得到下面的效果图。

? 修改并添加上下面的代码

imgOriginalGray = cv2.cvtColor(imgOriginal, cv2.COLOR_BGR2GRAY)
imgOriginalGray = cv2.cvtColor(imgOriginalGray, cv2.COLOR_GRAY2BGR)
imgColorLips = cv2.addWeighted(imgOriginalGray, 1, imgColorLips, 0.4, 0)

?为了更好的观察嘴唇的上色，我们将原图转化为了灰度图像，又因为要对图像上色，所以我们需要三个通道，故将其转化为了拥有三个通道的灰色的图像。

再来看看它的效果：

?cool!!!效果非常的明显，更好的观察到我们的项目。

part5?添加轨迹栏实时修改颜色

那么这一步的完成，就是我最开始展示的代码，使用cv2.createTrackbar的函数时，要添加一个函数，可以直接pass。

那么经过上面的讲解，或许你对于上面的已经相当清楚了，我这里就不再细讲了。

5、项目资源

GitHub:Opencv-project-training/Opencv project training/10 Facial Landmarks and Face Filter at main · Auorui/Opencv-project-training · GitHub

6、项目总结

好像有点久没有更新了，最近在补数据分析，由于我要学完之后还要写博客，所以会稍稍显得有点慢，昨天刚刚下单买了西瓜书、南瓜书和李航的统计学习方法。说实话我虽然都有这些资源的电子版，可我看着不得劲，眼睛看着不舒服，还是更喜欢纸制版的感觉，希望我早点机器学习入门，我的高数都快忘完了，线代只能说还有印象，别的不说，我一定要加油啃下这些知识点。

希望你在本项目中玩得开心，否则我会在下一个项目中见到你！！！