| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 人工智能 -> 恒源云(GpuShare)_MaskFormer:语义分割可以不全是像素级分类 -> 正文阅读 |
|
[人工智能]恒源云(GpuShare)_MaskFormer:语义分割可以不全是像素级分类 |
文章来源 | 恒源云社区 原文地址 | MaskFormer 原文作者 | 咚咚 论文:Per-Pixel Classification is Not All You Need for Semantic Segmentation 论文地址:https://arxiv.org/pdf/2107.06278.pdf 代码地址: https://bowenc0221.github.io/maskformer 摘要
从像素级分类到mask级分类
像素级分类大家应该对像素级分类很熟悉了,可以用公式表达为 y = { p i ∣ p i ∈ Δ k } i = 1 H ? W y={\lbrace p_i|p_i \in\Delta^k}\rbrace_{i=1}^{H \cdot W} y={pi?∣pi?∈Δk}i=1H?W?,其中 Δ K \Delta^{K} ΔK,具体含义就是一张图像上每个像素点的K类别概率分布 最后使用cross entropy对每个像素进行loss计算 MASK级分类mask级分类将分割任务拆分为两个部分:
由于N不需要等于类别K,这就意味着会存在多个区域属于同一个类别,这时mask级分类可以适用于语义分割和实例级分割任务 上述就是mask级分类的两个组成部分,但这会引出下一个问题,如何构造标签?
进一步就是要考虑如何将标签和预测结果中的不同区域进行匹配
基于匹配的结果,最终的损失函数为 MASKFORMER整个模型分成三个模块(如上图所示):
像素级模块 就是一个编码器-解码器结构,输入大小为H×W的图像,输出为
ε
p
i
x
e
l
∈
R
c
ε
×
H
×
W
\varepsilon_{pixel} \in \mathbb R ^{c_\varepsilon \times H \times W}
εpixel?∈Rcε?×H×W Transformer模块 分割模块
训练过程中,联合使用cross entropy classification loss 和binary mask loss L mask? \mathcal{L}_{\text {mask }} Lmask?? ?(与DETR一样,联合focal loss和dice loss权重求和) 前向传播过程提出了两种前向传播算法
General inference
这样对于语义分割而言,根据所属类别进行分割 Semantic inference
实验通过在四个公开数据集上进行了实验对比,证明了MaskFormer无缝统一了语义分割和实例分割,并实现了最优性能 对比实验语义分割对比实验 全景分割对比实验 消融实验像素级分类和mask级分类比较结果 使用不同queries(区域数量N)之间的比较 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/26 13:52:22- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |