IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> 图像修复方法研究综述----论文笔记 -> 正文阅读

[人工智能]图像修复方法研究综述----论文笔记

原文链接

图像修复方法研究综述

图像修复的应用

  1. 对象移除

  2. 修复图像

  3. 图片修饰

  4. 文字移除

修复方法

传统的修复方法

“根 据修复思想的不同,它可以被分为基于偏微分方程 (Partial Differential Equation,PDE)的图像修复方法 和基于样本的图像修复方法。”

(1)基于偏微分方程的方法

“利用数学或物理学中的偏微分方 程,将图像已知区域像素平滑传播到缺失区域中以 修复破损图像。”
在这里插入图片描述
(2)基于样本的图像修复方法

“基于样本的图像修复方法通过计算并搜索破 损图像缺失区域与已知区域相似度最高的样本,并 将其复制粘贴到缺失区域内以修复破损图像。”
在这里插入图片描述

基于深度学习的图像修复方法

“依据生成图像数量的不同,将其分为单元图像修 复方法和多元图像修复方法。”

“单元图像修 复方法指对于单张输入图像生成单张修复图像”

“多元 图像修复方法指对于单张输入图像生成多张修复图像”
在这里插入图片描述
四种单元图像修复方法的对比

“Transformer 类修复方法性能优于其他 三类修复方法,究其原因是 Transformer[9]模型可以 利用自注意力机制获取较大感受野,实现图像远距 离信息的获取进而生成语义一致且视觉合理的修 复结果。”

“Encoder-Decoder 类、U-Net 类和 GAN 类修复方法修复小缺失区域(10%-40%)的破损图像 效果较好,虽然 Transformer 类修复方法评价数据集 少,但其在部分数据集的大缺失区域(30%-50%)修 复中仍表现出优于其他类修复方法的修复效果。”

“当前图像修复仍然重点研究人脸与场景图 像的修复,而忽略了其它图像数据集的修复,例如 街景、纹理、建筑等图像数据集。”

研究前景

“接下来因重点研究如何在计算成本低 的条件下实现高保真图像的修复、高分辨率图像的 修复和大缺失区域的修复。”

“场景、街景图像的修复仍 存在大量发展空间。”

“大缺失区域的破损图像修复仍存在较大研究空间。”

数据集

文中给出了目前所用的一些公开图像数据集和掩码数据集,图像数据集包含了建筑、纹理、街景、场景和人脸等。
在这里插入图片描述

图像评价的指标

在这里插入图片描述
全参考是指选择原始图像作为参考图像,比较生成图像 与原始图像之间的差异;半参考是指选择部分原始 图像作为参考,对生成图像进行比较分析;无参考 是指无需原始图像,直接对生成图像进行比较分析。

未来的研究方向

  1. “如何同时实现图像纹理和结构两部分的补全”
    现存修复 方法主要包括仅修复纹理(如 MRF-Net[49])、仅修复 结构 (如 SI[34])、先修复结构后修复纹理 (如 EC[90]、 PRVS[67])三种修复思想。但是都存在一定的局限性。

  2. “多元图像修复方法性能的提升以及其评价指标的研究”

  3. “研究低计算成本的高分辨率图像修复模型 是当前最紧迫的任务之一”
    虽然 Transformer 类修复方法可以实现高分辨率图 像的修复并取得了高质量的修复结果,但是它们需要大量的计算成本和昂贵的实验设备,并不适合商用。Encoder-Decoder 类、U-Net 类、GAN 类修复方法虽然也可以通过堆叠卷积层获取较大 感受野进而实现高分辨率的图像修复,但是堆叠卷 积层随之也会带来计算成本的增加、修复模型的不 稳定等等不足。

  4. “如何创建一个基于亚洲人脸图像的数据集 是未来研究的重点方向。”
    目前的研究主要是基于外国人脸的图像,这些图像数据集训练模 型并修复亚洲人脸时,会出现不准确甚至错误的修 复结果

  5. “如何实现在不同任务和场景的人脸修复,是一个亟需解决的难题。”
    例如佩戴口罩、头发遮挡、 人脸重叠等等,这些问题都会提升人脸图像的修复 难度。

  6. “设计无参考且可以准确反映图像质量的评价指标是当前修复面临的难题。”
    目前广泛使用的图 像修复评价指标 MAE[131]、PSNR[134]、SSIM[135]等 均为全参考指标,这类评价指标需要使用原始图像 作为参考对象,同时计算整幅图像像素相似性需要 大量时间。利用无参考的评价指标对修复的图像进行评价能够节省成本,具有重要意义。

  人工智能 最新文章
【读书笔记】周志华 机器学习 第五章 神经网
【代码解读】超详细,YOLOV5之build_target
18张图,直观理解神经网络、流形和拓扑
[笔记]机器学习之机器学习模型及案例分析《
跟着李沐学AI:线性回归
卷积神经网络(CNN)之卷积操作、池化操作、
anaconda安装pytorch
网关服务初识
数据增强之Cutout
融合随机反向学习的黏菌与算术混合优化算法
上一篇文章      下一篇文章      查看所有文章
加:2022-06-29 19:04:19  更:2022-06-29 19:08:26 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
360图书馆 购物 三丰科技 阅读网 日历 万年历 2022年8日历 -2022/8/7 23:36:45-
图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码