1 基础概念

1.1 IoU

Intersection Over Union (IoU)，又称交并比，用来衡量两个box重叠的程度,通过这个名称我们大概可以猜到 IoU 的计算方法。IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。对于1个真实bbox?和1个预测的bbox ?, 它们的IoU计算如下：

$\frac{area(box_{pre}\bigcup box_{gt})}{area(box_{pre}\bigcap box_{gt})}.$

在这里插入图片描述

1.2 Precision and Recall

在这里插入图片描述

True Positive (TP): IOU>=阈值的检测框
False Positive (FP): IOU<阈值的检测框
FalseNegative (FN): 未被检测到的GT
True Negative (TN): 忽略不计

精确率Precision的计算公式为：
$\frac{TP}{TP+FP}$
召回率Recall的计算公式为：
$\frac{TP}{TP+FN}$

1.3 PR Curve（PR曲线）

PR曲线用途：当confidence阈值改变时，衡量模型的performance

好模型的标志：PR曲线鼓大（靠近右上方）,见下图示例，recall变大时precision下降小，意味着模型不需要通过预测更多的BBOX来检测出GT。对于好的模型，当confidence阈值改变，precision和recall都保持在较高水平

在这里插入图片描述

1.4 AP（average precision）

AP：PR曲线下面积的近似，是一个0~1之间的数值，也可用来衡量模型的performance
在这里插入图片描述
在实际应用中，我们并不直接对该PR曲线进行计算，而是对PR曲线进行平滑处理。即对PR曲线上的每个点，Precision的值取该点右侧最大的Precision的值。
用公式来描述就是
用该公式进行平滑后再用上述公式计算AP的值。

AP VS PR曲线：

PR曲线比较直观，但由于曲线的上下震荡，不方便比较不同模型的PR曲线
AP是一个数字，模型的AP大，则模型更好，方便比较不同模型

2 mAP计算方法

2.1 VOC

对于AP的计算，VOC采用过两种不同方法：

1. 11点插值法
VOC2010以前，选取当Recall >= 0, 0.1, 0.2, …, 1共11个点时的Precision最大值，AP是这11个Precision的平均值，此时只由11个点去近似PR曲线下面积。
在这里插入图片描述

2. 所有点插值法
11点插值法有两个缺陷，第一个是使用11个采样点在精度方面会有损失。第二个是，在比较两个AP值较小的模型时，很难体现出两者的差别。

VOC2010及以后，采用绘制出平滑后的PR曲线后，用积分的方式计算平滑曲线下方的面积作为最终的AP值。该方法需要针对每一个不同的Recall值（包括0和1），选取其大于等于这些Recall值时的Precision最大值，然后计算PR曲线下面积作为AP值：
在这里插入图片描述

2.2 COCO

最新的目标检测相关论文都使用coco数据集来展示自己模型的效果。对于coco数据集来说，使用的也是Interplolated AP的计算方式。与VOC 2007不同的是，为了提高精度，在PR曲线上采样了100个点进行计算。而且Iou的阈值从固定的0.5调整为在 0.5 - 0.95 的区间上每隔0.5计算一次AP的值，取所有结果的平均值作为最终的结果。

采用COCO mAP的论文中，我们除了AP，还能看到例如 $AP_{50}$ 、 $AP_{75}$ 、 $AP_{S}$ 、 $AP_{M}$ 、 $AP_{L}$ ，其代表意义如下：

$AP_{50}$ ：IoU阈值为0.5时的AP测量值
$AP_{75}$ ：IoU阈值为0.75时的AP测量值
$AP_{S}$ : 像素面积小于 $32^{2}$ 的目标框的AP测量值
$AP_{M}$ : 像素面积在 $32^{2}-96^{2}$ 之间目标框的AP测量值
$AP_{L}$ : 像素面积大于 $96^{2}$ 目标框的AP测量值