?前 言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。之前改进为EIOU，有兴趣的朋友可以看看，YOLOv5改进之七：损失函数改进 - 知乎
解决问题：YOLOv5采用CIOU损失函数，传统的目标检测损失函数依赖于边界框回归指标的聚合，例如预测框和真实框（即 GIoU、CIoU、ICIoU 等）的距离、重叠区域和纵横比。然而，迄今为止提出和使用的方法都没有考虑到所需真实框与预测框之间不匹配的方向。这种不足导致收敛速度较慢且效率较低，因为预测框可能在训练过程中“四处游荡”并最终产生更差的模型。针对以上问题，采用SIOU损失函数替换原损失函数。
原理：
原文：SIoU Loss: More Powerful Learning for Bounding Box Regression
链接：https://doi.org/10.48550/arXiv.2205.12740?doi.org/10.48550/arXiv.2205.12740
SIoU损失函数由4个Cost函数组成：
-
Angle cost
-
Distance cost
-
Shape cost
-
IoU cost 2SIoU Loss SIoU损失函数由4个Cost函数组成：
-
Angle cost
-
Distance cost
-
Shape cost
-
IoU cost
2.1 Angle cost 添加这种角度感知 LF 组件背后的想法是最大限度地减少与距离相关的“奇妙”中的变量数量。基本上，模型将尝试首先将预测带到 X 或 Y 轴（以最接近者为准），然后沿着相关轴继续接近。
?
编辑切换为居中
添加图片注释，不超过 140 字（可选）
2.2 Distance cost
考虑到上面定义的Angle cost，重新定义了Distance cost
2.3 Shape cost
Shape cost的定义为：
2.4 IoU Cost
IoU cost的定义为：
其中，
2.5 SIoU Loss
最后，回归损失函数为:
方 法：
第一步修改metrics.py，增加SIOU。
def bbox_iou(box1, box2, x1y1x2y2=True, GIoU=False, DIoU=False, CIoU=False, SIoU=False, eps=1e-7):
# Returns the IoU of box1 to box2. box1 is 4, box2 is nx4
box2 = box2.T
# Get the coordinates of bounding boxes
if x1y1x2y2: # x1, y1, x2, y2 = box1
b1_x1, b1_y1, b1_x2, b1_y2 = box1[0], box1[1], box1[2], box1[3]
b2_x1, b2_y1, b2_x2, b2_y2 = box2[0], box2[1], box2[2], box2[3]
else: # transform from xywh to xyxy
b1_x1, b1_x2 = box1[0] - box1[2] / 2, box1[0] + box1[2] / 2
b1_y1, b1_y2 = box1[1] - box1[3] / 2, box1[1] + box1[3] / 2
b2_x1, b2_x2 = box2[0] - box2[2] / 2, box2[0] + box2[2] / 2
b2_y1, b2_y2 = box2[1] - box2[3] / 2, box2[1] + box2[3] / 2
# Intersection area
inter = (torch.min(b1_x2, b2_x2) - torch.max(b1_x1, b2_x1)).clamp(0) * \
(torch.min(b1_y2, b2_y2) - torch.max(b1_y1, b2_y1)).clamp(0)
# Union Area
w1, h1 = b1_x2 - b1_x1, b1_y2 - b1_y1 + eps
w2, h2 = b2_x2 - b2_x1, b2_y2 - b2_y1 + eps
union = w1 * h1 + w2 * h2 - inter + eps
iou = inter / union
if GIoU or DIoU or CIoU or SIoU:
cw = torch.max(b1_x2, b2_x2) - torch.min(b1_x1, b2_x1) # convex (smallest enclosing box) width
ch = torch.max(b1_y2, b2_y2) - torch.min(b1_y1, b2_y1) # convex height
if SIoU: # SIoU Loss
sin_alpha_2 = torch.abs(s_ch) / sigma
sin_alpha = torch.where(sin_alpha_1 > threshold, sin_alpha_2, sin_alpha_1)
angle_cost = torch.cos(torch.arcsin(sin_alpha) * 2 - math.pi / 2)
gamma = angle_cost - 2
omiga_w = torch.abs(w1 - w2) / torch.max(w1, w2)
omiga_h = torch.abs(h1 - h2) / torch.max(h1, h2)
shape_cost = torch.pow(1 - torch.exp(-1 * omiga_w), 4) + torch.pow(1 - torch.exp(-1 * omiga_h), 4)
return iou - 0.5 * (distance_cost + shape_cost)
elif CIoU or DIoU: # Distance or Complete IoU https://arxiv.org/abs/1911.08287v1
c2 = cw ** 2 + ch ** 2 + eps # convex diagonal squared
rho2 = ((b2_x1 + b2_x2 - b1_x1 - b1_x2) ** 2 +
(b2_y1 + b2_y2 - b1_y1 - b1_y2) ** 2) / 4 # center distance squared
if DIoU:
return iou - rho2 / c2 # DIoU
elif CIoU: # https://github.com/Zzh-tju/DIoU-SSD-pytorch/blob/master/utils/box/box_utils.py#L47
v = (4 / math.pi ** 2) * torch.pow(torch.atan(w2 / h2) - torch.atan(w1 / h1), 2)
with torch.no_grad():
alpha = v / (v - iou + (1 + eps))
return iou - (rho2 / c2 + v * alpha) # CIoU
else: # GIoU https://arxiv.org/pdf/1902.09630.pdf
c_area = cw * ch + eps # convex area
return iou - (c_area - union) / c_area # GIoU
else:
return iou # IoU第二步：将loss.py中边框位置回归损失函数改为Siou。
iou = bbox_iou(pbox.T, tbox[i], x1y1x2y2=False, SIoU=True) # iou(prediction, target)
结 果：
不同模型与 mAP@0.5:0.95 的推理时间。显然，Scylla-Net 的 mAP 值较高，而模型推理时间远低于比较模型的推理时间。
预告一下：下一节将继续分享YOLOv5改进之十一——主干网络C3替换为轻量化网络MobileNetV3。有兴趣的朋友可以关注一下我，有问题可以留言或者私聊我哦
PS：损失函数的改进的方法不仅仅是适用改进YOLOv5，也可以改进其他的YOLO网络，比如YOLOv4、v3等。
最后，希望能互粉一下，做个朋友，一起学习交流。
?