大致原理:在一个图片上划分一些区域作为候选框,然后把他们缩放成一样的227*227的正方形,然后经过卷积神经网络,得到特征图,然后利用支持向量机判断类别和bbox做回归。 流程如上图所示。 可以对一些流程进行一些改进。 先是根据初始图片对明显边界进行划分区域,然后根据颜色纹理大小形状进行区域合并。 初始的区域可以划分为很多,然后后续慢慢合并,划分的候选框就变少了。绿色的框表示真实的框,初始划分的候选框里总会有真实的框。 缩放为227*227的大小。可以看到这里面有3种缩放方式。 2000*4096的矩阵,其中每一行对应一个候选区域的特征向量。 最右边2000*20的第一行第一列是第一个候选框是猫的概率,第二行第一列是第二个候选框是猫的概率,后续进行非极大值抑制。 a交b除以a并b。大致意思就是找到一个得分最高的候选框,然后把其他与这个候选框重叠很多的候选框删除。对每一列进行非极大值抑制处理。
最后得到一个特征图,然后选取其中一个值,这个值对应一个候选框,然后看这个候选框,怎么会使这个值最大。 这些就是使一个值最大后得到的候选框。比如说第一个是提取人的特征。 bbox回归,会得到偏移量,然后将偏移量用于原候选框,得到predicted预测框。 在测试阶段,黄的部分是回归器输出的值,然后根据紫色的候选框参数,得到预测框的各个参数了。在训练阶段,利用人为标注的框和候选框参数可以得到回归标注(真实),然后黄色部分是由特征图经过回归得到的,求它们的损失值,使之最小,从而训练w。(让黄色去拟合蓝色) 通过回归器,可以使后续定位更加准确,减少初始的候选框定位错误。(因为正确的框使人为框的,里面有物体,然后候选框是随机弄的)。
|