需求
人脸检测以后,有了检测框,需要将眼睛扶正,并裁剪,然后resize成需要的大小。 人脸检测结果如下: 其中蓝色是检测框,内部的红色框是我根据长宽扩展的正方形,绿色框是根据眼睛倾斜角度计算的正方形区域,我需要的就是这个区域。为了得到绿色方框的区域。 最初的方法:
- 计算绿色方框的外接矩形,也就是外侧的红色方框;
- 将外侧的红色方框区域裁剪下来;
- 根据眼睛倾角以方框中心进行旋转;
- 裁剪内部绿色的区域,得到最终的结果;
可以看到上述方法包含两次裁剪和一次旋转。这不是一个好的方案。经过搜索,我了解到opencv里还有透视变换函数cv::warpPerspective, 可以用一个函数替代上述一连串操作,而且速度还快(我是在arm上做的测试)。
透视变换
下图左侧是仿射变换,右侧是透视变换。仿射变换只能做通过旋转,resize、和两条边的倾斜做变换。而透视变换模仿了人眼透视原理,可以调节每个边的远近。仿射变换是通过2x3矩阵进行的变换,透视变换是用3x3矩阵进行的变换。 我的目标就是使用透视变换,替代“裁剪+旋转+resize”这一系列操作。(仿射变换应该也能做到,因为我的操作都是在二维内,但是我还没试)
cv::warpPerspective
透视变换的函数是cv::warpPerspective。 调用原理就是先计算一个3x3的变换矩阵,然后进行变换。 计算变换矩阵的时候,需要的是源图像上的坐标和目标图像上的坐标。srcTri[]数组内我填的就是上图绿色方框的四个点的坐标,坐标顺序:“左上,右上,右下,左下”。out_img我已提前设置了大小,所以dstTri就是out_img四个点的坐标。
int face_PerspectiveTransform(const cv::Mat &src_img, int incline_bbox[8], cv::Mat &out_img)
{
cv::Point2f srcTri[4];
for (int i = 0; i < 4; i++)
{
srcTri[i].x = incline_bbox[i * 2];
srcTri[i].y = incline_bbox[i * 2 + 1];
}
auto w = out_img.cols;
auto h = out_img.rows;
cv::Point2f dstTri[4] = {{0, 0}, {w, 0}, {0, h}, {w, h}};
cv::Mat M = cv::getPerspectiveTransform(srcTri, dstTri);
cv::warpPerspective(src_img, out_img, M, out_img.size());
return 0;
}
效果
参考资料
Cropping Rotated Rectangles from Image with OpenCV(python)
Robustly crop rotated bounding box on photos(python)
OpenCV代码提取:warpPerspective函数的实现(c++)
opencv官方的例子:https://docs.opencv.org/3.4/de/dd4/samples_2cpp_2warpPerspective_demo_8cpp-example.html#a26
|