前言
在弱监督语义分割（WSSS）中，CAM有着至关重要的作用，之前博主也在博客中实现过基本的CAM，但是效果有限，而 Complementary Patch for Weakly Supervised Semantic Segmentation这篇文章中提出了一种新的CAM获取方法
也就是把图像分成两个patch组成的图像，然后分别得到CAM最后进行叠加，所得到的效果要优于单张图片的效果。
而本文主体的网络架构如下图所示：
这里输入三组数据，本文主要是实现PCM和PRCM。
PCM与PRCM
pcm在去年的WSSS的文章中已经实现了在本文章架构如下：
其中Y代表CAM，X代表从backbone输出的特征。
在PCM中Y经过两个fc然后，一个进行转置与reshape后的Y相乘，最后得到Ypcm。代码如下：
class PCM(nn.Module):
# 卷积+ReLU函数
def __init__(self, C, C2):
super().__init__()
self.conv1 = nn.Sequential(
nn.Conv2d(C, C2, kernel_size=1, padding = 0),
)
self.conv2 = nn.Sequential(
nn.Conv2d(C, C2, kernel_size=1, padding = 0),
)
def forward(self, x):
B,C,H,W = x.size()
print(B,C,H,W)
x1 = self.conv1(x)
x2 = self.conv2(x)
x1 = x1.reshape(B,-1,H*W)
x2 = x2.reshape(B,H*W,-1)
att = torch.bmm(x2, x1, out=None)
x = x.reshape(B,H*W,-1)
x = torch.bmm(att, x, out=None)
print(x.size())
PCM = x.reshape(B,C,H,W)
return PCM
PRCM相较于PCM较为复杂，并且公式和图片展示较为不同，我们以公式为准吧。
在公式中Z=SoftMax(Y)Xt,所得到的Z和X都要经过一个FC层，最后所得到的Pr经过softmax后与Y相乘，这里就是图中没有表达的。代码如下：
class PRCM(nn.Module):
# 卷积+ReLU函数
def __init__(self, C, C1, C2):
super().__init__()
self.conv1 = nn.Sequential(
nn.Conv2d(C1, C2, kernel_size=1, padding = 0),
)
self.fc = nn.Linear(C1,C2)
def forward(self, x, y):
B,C,H,W = x.size()
print(B,C,H,W)
softmax = nn.Softmax(dim = -1)
y1 = softmax(y.reshape(B,-1,H*W))
x1 = x.reshape(B,H*W,-1)
z = torch.bmm(y1, x1, out=None)
print(z.size())
x1 = self.conv1(x)
x1 = x1.reshape(B,-1,H*W)
print(x1.size())
z = self.fc(z)
Pr = torch.bmm(z, x1, out=None)
print(Pr.size())
print(y.size())
softmax = nn.Softmax(dim = -1)
Yprcm = y*softmax(Pr).reshape(B,-1,H,W)
return Yprcm
