[人工智能] Android实现戴口罩人脸检测和戴口罩识别(附Android源码)

本篇博文是《Pytorch戴口罩人脸检测和戴口罩识别(含训练代码戴口罩人脸数据集)》续作Android篇，主要分享将Python训练后的戴口罩识别模型移植到Android平台。我们将开发一个简易的、可实时运行的戴口罩人脸检测和戴口罩识别的Android Demo。目前项目开发的戴口罩识别（face-mask recognition）的准确率还挺高的，在resnet50,可以高达99%的准确率，采用轻量化版本MobileNet-v2，准确率也可以高达98.18%左右。

项目将手把手教你将训练好的戴口罩分类识别模型部署到Android平台中，包括如何转为ONNX，TNN模型，并移植到Android上进行部署，实现一个戴口罩识别的Android Demo APP 。APP在普通Android手机上可以达到实时的检测识别效果，CPU(4线程)约30ms左右，GPU约25ms左右，基本满足业务的性能需求。

1.戴口罩识别的方法

（1）基于多类别目标检测的戴口罩识别方法

基于多类别目标检测的戴口罩识别方法，一步到位，把未戴口罩（nomask）和戴口罩（mask）两个类别直接当成两个目标检测的类别进行训练

（2）基于人脸检测+戴口罩分类识别方法

该方法，先采用通用的人脸检测模型，进行人脸检测，然后裁剪人脸区域，再训练一个戴口罩分类器，对人脸进行分类识别（未戴口罩和戴口罩）

考虑到数据标注成本的问题，本项目采用第二种方法，即采用基于人脸检测+戴口罩分类识别方法

2.戴口罩人脸数据集

网上绝大部分人脸数据都是不戴口罩的人脸，不能直接用于戴口罩识别中。鉴于此，我们可以考虑自己合成/生成戴口罩的人脸数据，以下是鄙人收藏和整理的戴口罩人脸数据集和合成的数据集，总共约有50000+的数据：

3.戴口罩人脸检测

通常我们理解的人脸检测是指没有遮挡或者只有少许遮挡情况下的人脸检测，当人脸戴有口罩，其检测效果势必会变得比较差，而大量标注带有人脸口罩的人脸数据集还是比较耗时费力的。所以我的方法是：

当然，即使使用开源的人脸检测算法，在带有口罩人脸检测，其实效果也不会太差，比如使用FaceBox,MTCNN检测带有口罩的图片，效果也可以的，只不过会经常出现人脸检测框不完整，存在缺少等问题，对后续的戴口罩的识别有一定的影响。

4.戴口罩识别模型训练

5.戴口罩识别模型Android部署

（1）将Pytorch模型转换ONNX模型

训练好Pytorch模型后，你可以将模型转换为ONNX模型，方便后续模型部署

"""
This code is used to convert the pytorch model into an onnx format model.
"""
import sys
import os

sys.path.insert(0, os.getcwd())
import torch.onnx
import onnx
from classifier.models.build_models import get_models
from basetrainer.utils import torch_tools


def build_net(model_file, net_type, input_size, num_classes, width_mult=1.0):
    """
    :param model_file: 模型文件
    :param net_type: 模型名称
    :param input_size: 模型输入大小
    :param num_classes: 类别数
    :param width_mult:
    :return:
    """
    model = get_models(net_type, input_size, num_classes, width_mult=width_mult, is_train=False, pretrained=False)
    state_dict = torch_tools.load_state_dict(model_file)
    model.load_state_dict(state_dict)
    return model


def convert2onnx(model_file, net_type, input_size, num_classes, width_mult=1.0, device="cpu", onnx_type="default"):
    model = build_net(model_file, net_type, input_size, num_classes, width_mult=width_mult)
    model = model.to(device)
    model.eval()
    model_name = os.path.basename(model_file)[:-len(".pth")] + ".onnx"
    onnx_path = os.path.join(os.path.dirname(model_file), model_name)
    # dummy_input = torch.randn(1, 3, 240, 320).to("cuda")
    dummy_input = torch.randn(1, 3, input_size[1], input_size[0]).to(device)
    # torch.onnx.export(model, dummy_input, onnx_path, verbose=False,
    #                   input_names=['input'],output_names=['scores', 'boxes'])
    do_constant_folding = True
    if onnx_type == "default":
        torch.onnx.export(model, dummy_input, onnx_path, verbose=False, export_params=True,
                          do_constant_folding=do_constant_folding,
                          input_names=['input'],
                          output_names=['output'])
    elif onnx_type == "det":
        torch.onnx.export(model,
                          dummy_input,
                          onnx_path,
                          do_constant_folding=do_constant_folding,
                          export_params=True,
                          verbose=False,
                          input_names=['input'],
                          output_names=['scores', 'boxes', 'ldmks'])
    elif onnx_type == "kp":
        torch.onnx.export(model,
                          dummy_input,
                          onnx_path,
                          do_constant_folding=do_constant_folding,
                          export_params=True,
                          verbose=False,
                          input_names=['input'],
                          output_names=['output'])
    onnx_model = onnx.load(onnx_path)
    onnx.checker.check_model(onnx_model)
    print(onnx_path)


if __name__ == "__main__":
    net_type = "mobilenet_v2"
    width_mult = 1.0
    input_size = [128, 128]
    num_classes = 2
    model_file = "work_space/mobilenet_v2_1.0_CrossEntropyLoss/model/best_model_022_98.1848.pth"
    convert2onnx(model_file, net_type, input_size, num_classes, width_mult=width_mult)

（2）将ONNX模型转换为TNN模型

目前CNN模型有多种部署方式，可以采用TNN，MNN,NCNN，以及TensorRT等部署工具，鄙人采用TNN进行Android端上部署：

（3） Android端上部署戴口罩识别

项目实现了Android版本的戴口罩识别Demo，部署框架采用TNN，支持多线程CPU和GPU加速推理，在普通手机上可以实时处理。戴口罩识别Android源码，核心算法均采用C++实现，上层通过JNI接口调用.

package com.cv.tnn.model;

import android.graphics.Bitmap;

public class Detector {

    static {
        System.loadLibrary("tnn_wrapper");
    }


    /***
     * 初始化人脸检测和戴口罩识别模型
     * @param face_model： 人脸检测模型（不含后缀名）
     * @param class_model：戴口罩识别模型（不含后缀名）
     * @param root：模型文件的根目录，放在assets文件夹下
     * @param model_type：模型类型
     * @param num_thread：开启线程数
     * @param useGPU：关键点的置信度，小于值的坐标会置-1
     */
    public static native void init(String face_model, String class_model, String root, int model_type, int num_thread, boolean useGPU);

    /***
     * 人脸检测和戴口罩识别
     * @param bitmap 图像（bitmap），ARGB_8888格式
     * @param score_thresh：置信度阈值
     * @param iou_thresh：  IOU阈值
     * @return
     */
    public static native FrameInfo[] detect(Bitmap bitmap, float score_thresh, float iou_thresh);
}

（4） Android测试效果?

Android Demo在普通手机CPU/GPU上可以达到实时检测和识别效果；CPU(4线程)约30ms左右，GPU约25ms左右，基本满足业务的性能需求。