抠图
图像分割
抠图
显著性检测
背景


语义分割:语义分割会为图像中的每个像素分配一个类别,但是同一类别之间的对象不会区分,区分不同类,不能区分不同人
实例分割:只对特定的物体进行分类。这看起来与目标检测相似,不同的是目标检测输出目标的边界框和类别,实例分割输出的是目标的Mask和类别。
全景分割:能区分不同人,能知道谁是运动的

由于带透明度,背景替换后所以背景看着比较真实
输入先验,进行抠无穷类图

不需要先验,主要是看是否显著性的吸引注意力的
可以扣无穷类别

绿幕抠图对于绿色的东西。会出现颜色失真
单RGB方法


2015年J.Long 给出了当时全像素级分割的最佳解决方案,Fully Convolutional Network 全卷积神经网络。FCN在网络架构上不再使用全连接层,直接从抽象的特征中恢复每个像素所属的类别。这种端对端的网络架构,不仅在速度上远快于像素块分类的方式,而且能够适用于任何大小的图像。

层数过多,反向传播较差

大分辨率–>小分辨率–> 大分辨率
改用金字塔融合,并行方式运行
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YQgjBKQs-1630068352078)(../../Pictures/Typora/image-20210622193100419.png)]](https://img-blog.csdnimg.cn/958d87f2cc224f2b86928643d7ae586e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6aCF5LqR,size_20,color_FFFFFF,t_70,g_se,x_16)
除了串联、并联的方式
高分辨率网络,保存很多的细节信息
实例分割
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Lputj44I-1630068352082)(../../Pictures/Typora/image-20210622193238817.png)]](https://img-blog.csdnimg.cn/1e687ab53e4e4338a5c8f0ec50bff3f3.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6aCF5LqR,size_20,color_FFFFFF,t_70,g_se,x_16)
感兴趣的画出来,进行训练,特征找到感兴趣的区域,精度较高,比较慢。
现有方式RGB

网络参数量比较大

早期网络:直接融合
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zlJE06Zo-1630068352086)(../../Pictures/Typora/image-20210622194946357.png)]](https://img-blog.csdnimg.cn/f6253b77a5b64e9c92c7426051f58577.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6aCF5LqR,size_20,color_FFFFFF,t_70,g_se,x_16)



三色图,trimap,手动制作,手动涂,应用受到局限


软分割

微软

阿里
场景

精度和速度平衡
解决方案

防抖动


依赖深度
挑战
1、透明物体抠图,深度不能用
2、扣一条线
3、环境复杂
机遇
1、深度得到更多关注
2、定制化RGB-D硬件
|