抠图
图像分割
抠图
显著性检测
背景
语义分割:语义分割会为图像中的每个像素分配一个类别,但是同一类别之间的对象不会区分,区分不同类,不能区分不同人
实例分割:只对特定的物体进行分类。这看起来与目标检测相似,不同的是目标检测输出目标的边界框和类别,实例分割输出的是目标的Mask和类别。
全景分割:能区分不同人,能知道谁是运动的
由于带透明度,背景替换后所以背景看着比较真实
输入先验,进行抠无穷类图
不需要先验,主要是看是否显著性的吸引注意力的
可以扣无穷类别
绿幕抠图对于绿色的东西。会出现颜色失真
单RGB方法
2015年J.Long 给出了当时全像素级分割的最佳解决方案,Fully Convolutional Network 全卷积神经网络。FCN在网络架构上不再使用全连接层,直接从抽象的特征中恢复每个像素所属的类别。这种端对端的网络架构,不仅在速度上远快于像素块分类的方式,而且能够适用于任何大小的图像。
层数过多,反向传播较差
大分辨率–>小分辨率–> 大分辨率
改用金字塔融合,并行方式运行
除了串联、并联的方式
高分辨率网络,保存很多的细节信息
实例分割
感兴趣的画出来,进行训练,特征找到感兴趣的区域,精度较高,比较慢。
现有方式RGB
网络参数量比较大
早期网络:直接融合
三色图,trimap,手动制作,手动涂,应用受到局限
软分割
微软
阿里
场景
精度和速度平衡
解决方案
防抖动
依赖深度
挑战
1、透明物体抠图,深度不能用
2、扣一条线
3、环境复杂
机遇
1、深度得到更多关注
2、定制化RGB-D硬件
|