IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 恒源云(GpuShare)_MaskFormer:语义分割可以不全是像素级分类 -> 正文阅读

[人工智能]恒源云(GpuShare)_MaskFormer:语义分割可以不全是像素级分类

文章来源 | 恒源云社区

原文地址 | MaskFormer

原文作者 | 咚咚


论文:Per-Pixel Classification is Not All You Need for Semantic Segmentation

论文地址:https://arxiv.org/pdf/2107.06278.pdf

代码地址: https://bowenc0221.github.io/maskformer

在这里插入图片描述

摘要

  1. 目前研究多将语义分割算法作为一种像素级的分类算法,而将实例分割作为一种mask分类算法
  2. 论文的重要观点是:mask分类任务能够同时有效解决语义和实例级的分割任务
  3. 基于上述观念,提出了MaskFormer,一种预测二值mask(每个mask用于预测一个类别)的mask分类模型
  4. 实验显示,MaskFormer在ADE20K和COCO分割任务上实现state-of-the-art

从像素级分类到mask级分类

  1. 首先介绍像素级分类和mask级分类
  2. 随后介绍本文的mask级分类算法
  3. 最后提出了两个不同的前向传播算法

像素级分类

大家应该对像素级分类很熟悉了,可以用公式表达为 y = { p i ∣ p i ∈ Δ k } i = 1 H ? W y={\lbrace p_i|p_i \in\Delta^k}\rbrace_{i=1}^{H \cdot W} y={pi?pi?Δk}i=1H?W?,其中 Δ K \Delta^{K} ΔK,具体含义就是一张图像上每个像素点的K类别概率分布

最后使用cross entropy对每个像素进行loss计算

MASK级分类

在这里插入图片描述

mask级分类将分割任务拆分为两个部分:

  1. 将图像分割成N个区域(N不需要等于类别K),使用二进制 { m i ∣ m i ∈ [ 0 , 1 ] H × W } i = 1 N \lbrace m_i|m_i \in[0,1]^{H \times W}\rbrace_{i=1}^N {mi?mi?[0,1]H×W}i=1N?表示
  2. 这N个区域的每个区域内部是属于同一个类别,所以还需要对其进行类别预测,可以表示为 z = { ( p i , m i ) } i = 1 N z=\lbrace (p_i,m_i)\rbrace_{i=1}^N z={(pi?,mi?)}i=1N?,这里的类别概率分布 p i ∈ Δ K + 1 p_{i} \in \Delta^{K+1} pi?ΔK+1包含无对象no object 类别

由于N不需要等于类别K,这就意味着会存在多个区域属于同一个类别,这时mask级分类可以适用于语义分割和实例级分割任务

上述就是mask级分类的两个组成部分,但这会引出下一个问题,如何构造标签?

  1. 将一般标签改造成 z g t = { ( c i g t , m i g t ) ∣ c i g t ∈ { 1 , … , K } , m i g t ∈ { 0 , 1 } H × W } i = 1 N g t z^{gt}={\lbrace (c_i^{gt},m_i^{gt})|c_i^{gt} \in \{1,…,K\},m_i^{gt} \in \{ 0,1\}^{H \times W} \rbrace}_{i=1}^{N^{gt}} zgt={(cigt?,migt?)cigt?{1,,K},migt?{0,1}H×W}i=1Ngt?,其中 N g t N^{gt} Ngt可以认为是类别个数
  2. 预测生成的区域块数量N一般会大于标签中的区域块 N g t N^{gt} Ngt,为了后续能够进行对一对匹配,所以两者数量需要一致,因此添加一系列无对象tokens使两者数量相同

进一步就是要考虑如何将标签和预测结果中的不同区域进行匹配

  1. 作者发现使用二值匹配算法bipartite matching 比使用固定匹配算法trivial fixed matching 算法要好
  2. 借鉴DETR的匹配思路,联合类别和mask预测对i和j进行匹配: ? p i ( C j g t ) + L m a s k ( m i , M j g t ) -p_i (C_j^{gt})+\mathcal{L}_{mask}(m_i,M_j^{gt}) ?pi?(Cjgt?)+Lmask?(mi?,Mjgt?)

基于匹配的结果,最终的损失函数为在这里插入图片描述

MASKFORMER

在这里插入图片描述

整个模型分成三个模块(如上图所示):

  1. 像素级模块用于提取像素级特征嵌入
  2. Transformer模块,用于计算N个区域嵌入
  3. 分割模块,基于上述两个嵌入计算预测类别

像素级模块

就是一个编码器-解码器结构,输入大小为H×W的图像,输出为 ε p i x e l ∈ R c ε × H × W \varepsilon_{pixel} \in \mathbb R ^{c_\varepsilon \times H \times W} εpixel?Rcε?×H×W
的特征图

Transformer模块
将像素级模块中编码器的输出特征图和N个可学习的位置嵌入作为Transformer解码器的输入, 输出为 Q ∈ R C Q × N \mathcal Q \in \mathbb{R}^{C_{\mathcal{Q}} \times N} QRCQ?×N

分割模块

  1. 对于Transformer模块的输出Q,使用线性分类层和softmax进行类别输出,得到类别概率 { p i ∈ Δ K + 1 } i = 1 N \lbrace p_i \in\Delta^{K+1}\rbrace _{i=1}^N {pi?ΔK+1}i=1N?
  2. 使用带有两个隐藏层的MLP将Q转化为 ε m a s k ∈ R c ε × N \varepsilon_{mask} \in \mathbb R ^{c_\varepsilon \times N} εmask?Rcε?×N,并与 ε p i x e l \varepsilon_{pixel} εpixel?进行点乘和sigmoid操作,得到二值mask预测, m i [ h , w ] = s i g m o i d ( ε m a s k [ : , i ] T ? ε p i x e l [ : , h , w ] ) m_i[h,w]=sigmoid(\varepsilon_{mask}[:,i]^T\cdot\varepsilon_{pixel}[:,h,w]) mi?[h,w]=sigmoid(εmask?[:,i]T?εpixel?[:,h,w]),其中每个预测值为 m i ∈ [ 0 , 1 ] H × W m_{i} \in[0,1]^{H \times W} mi?[0,1]H×W,一共有N个

训练过程中,联合使用cross entropy classification loss 和binary mask loss L mask? \mathcal{L}_{\text {mask }} Lmask?? ?(与DETR一样,联合focal loss和dice loss权重求和)

前向传播过程

提出了两种前向传播算法

  1. 针对全景和语义分割,提出了general inference
  2. 专门针对语义分割,提出了semantic inference
    作者并发现,前向传播的策略更大程度上依赖于评价指标而不是任务

General inference
上文所述,我们知道 { p i ∈ Δ K + 1 } i = 1 N , m i ∈ [ 0 , 1 ] H × W \lbrace p_i \in\Delta^{K+1}\rbrace _{i=1}^N,m_i \in[0,1]^{H \times W} {pi?ΔK+1}i=1N?,mi?[0,1]H×W, 通过公式 a r g ? m a x ? p i ( c i ) ? m i [ h , w ] {arg} \ {max}\ p_i(c_i) \cdot m_i[h,w] arg?max?pi?(ci?)?mi?[h,w]来确定其所属类别,可以通过如下步骤进行理解

  1. 对于N个区域,每个区域有K+1个类别概率,首先确定每个区域中最大概率的类别
  2. 当前像素点同样具有属于每个区域的概率,也就是 m i m_i mi?
  3. 将上述两者相结合就可以获取当前像素点所属的类别和所属的区域

这样对于语义分割而言,根据所属类别进行分割
而对于实例分割而言,根据所属类别和所属区域进行区分不同实例

Semantic inference
同样对于图像上的一点 [ h , w ] [h, w] [h,w],其类别计算公式为
在这里插入图片描述
可以理解为将N作为特征维度

  1. p表示K+1个类别,每个类别有N长度的类别特征
  2. m表示每个像素点同样都有N长度的维度特征
  3. 将m与每个类别的特征进行乘积求和,并比较每个类别的结果,取最大值作为所属类别

实验

通过在四个公开数据集上进行了实验对比,证明了MaskFormer无缝统一了语义分割和实例分割,并实现了最优性能
并通过消融实验,发现语义分割上性能的提升确实来自于从像素级分类到mask级分类的转变

对比实验

在这里插入图片描述

语义分割对比实验
在这里插入图片描述

全景分割对比实验
在这里插入图片描述

消融实验

像素级分类和mask级分类比较结果
使用两个不同的匹配策略之间的比较结果
在这里插入图片描述

使用不同queries(区域数量N)之间的比较
在这里插入图片描述

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-03-22 20:35:19  更:2022-03-22 20:36:58 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/26 13:52:22-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码