IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 反卷积(Deconvolution)与棋盘效应(Checkerboard Artifacts) -> 正文阅读

[人工智能]反卷积(Deconvolution)与棋盘效应(Checkerboard Artifacts)

棋盘效应

在这里插入图片描述
当我们要用到深度学习来生成图像的时候,是往往是基于一个低分辨率且具有高层语义的特征图。这会使得深度学习来对这种低分辨率特征图进行填充细节。一般来说,为了执行从低分辨率特征图到高分辨率图像之间的转换,我们往往要进行deconvolution。简单来说,deconvolution layer可以允许模型通过每一个点进行绘制高分辨率图像上的一个方块,这种情况的产生与deconvolution的stride、kernel size有关。但不幸的是,当卷积核大小不能被步长整除的时候,会出现棋盘现象。

问题产生:kernel size无法被stride整除

在这里插入图片描述

stride为2,kernel size为3,这导致了重复上采样绘图的部分不均匀(图深色部分)
在这里插入图片描述
并且在二维图片上,情况会更加严重:
在这里插入图片描述

方法尝试1:多层重复转置卷积

现在,神经网络在创建图像时通常使用多层反卷积,从一系列较低分辨率的描述中迭代地构建较大的图像。虽然这些堆叠的去卷积可能会消除伪影,但它们通常会复合,从而在各种尺度上产生伪影。重复的结构使得棋盘更加复杂。
在这里插入图片描述

方法尝试2:stride为1的转置卷积

在反卷积后面,再接一个步长为1的卷积,效果有限
在这里插入图片描述

方法尝试3:调整kernel权重分布

调整卷积核的权重,适当加大重叠部分少的权重,虽然理论有效,但在实际操作中,不仅有困难也会减弱模型的表达力
在这里插入图片描述

更好的上采样

方法一:采取可以被stride整除的kernel size

该方案较好的应对了棋盘效应问题,但是仍不够圆满,因为一旦我们的kernel学习不均匀,仍然会产生棋盘效应,(下图为步长为2,核大小为4所产生的现象)在这里插入图片描述
在上图中,我们的weight并不够平衡,这直接导致了输出的棋盘效应。

即便如此,采用这个思路去设计网络仍然是必要的。

方法二:插值

调整图像大小(使用最近邻插值或双线性插值),然后执行卷积图层。这似乎是一种自然的方法,大致相似的方法在图像超分辨率方面表现良好
在这里插入图片描述

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2021-07-16 11:17:35  更:2021-07-16 11:20:21 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年3日历 -2024/3/29 12:56:49-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码