IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> CUFD---红外和可见光融合(编解码网络) -> 正文阅读

[人工智能]CUFD---红外和可见光融合(编解码网络)

CUFD: An encoder-decoder network for visible and infrared image fusion based on common and unique feature decomposition
红外和可见光融合:基于共性和唯一特性分解的编解码网络
源图像的浅层特征包含图像的丰富信息,深层特征更注重如何提取源图像的热量信息;深层和浅层特征具有不同的电磁相位。

目前红外和可见光融合存在的一些问题:

大多数算法融合只注重保持红外图像的像素强度分布。
许多传统的基于深度学习的图像融合算法在融合前对图像进行了不同层次的分解;但是在每一层上采用相同的转换方式,忽略了同一层上的多模态图像的特征图显示出很大的可变性,表示不同的特征或物理含义。
在深层和浅层特征中,大多数采用深度特征去保持目标的显著性,忽略了浅层特征包含的细节信息。

总体来说就是:

设计一个IM-AGE编解码网络,提取图像特征,将图像特征根据特征映射分为公共部分和为一部分,对于不同部分采用不同的融合规则,最后进行重建。

公共部分和独特部分:
请添加图片描述

在对特征图进行分析时,左上和右上(树和草丛)这些不重要的部分在两幅图像的特征图上看起来很相似。 因此,我们称这部分为公共部分。

独特部分就是展示科技暗光和红外特征图之间差异的部分(如:上图最后一列的图像显示),在最终融合时要求在独特的部分保持更高程度的信息;同时在可见光和红外光两种特征图像中亮度越大(像素越高)的部分通常是属于自己的独特部分。

特征映射

特征映射越深层的所保留的细节信息会越少,专注于去提取源图像的显著区域;

特征映射分解

整体流程图

请添加图片描述
该框架包含两对编码器-解码器网络,即图像编码器-解码器网络(定义为Ie和Id,以及特征编码器-解码器网络(定义为Fe和Fd) 这两对编解码网络起着不同的作用,具有不同的网络结构。

图像编码器-解码器网络:Ie从原始图像中提取四组不同深度的特征映射。 然后,Id基于这四组特征映射重建图像。

特征编码器-解码器网络FFN:Fe将特征映射分解为公共部分和唯一部分,然后Fd进行重构基于这两个部分的特征映射。

“K3S1”表示卷积层的内核大小为33,步幅为1。
卷积块前面和下面的数字分别表示输入和输出数据。

同一组可见光(v)和红外光(r)成对的送入Fe中,分成公共和独特部分后再次在Fd中实现重构输出+max(Mv,Mr)得到Mi**,最后四组Mi再次一同送入Id中进行组合重构,产生最后的融合图像。**

采用max(Mv,Mr)最大像素值规则对独特部分进行保留(像素高、亮度大的一般为图像的独特部分,如在图2中:可见光的帐篷、红外光的人)
融合操作完成后,其余两个解码器(Fd、Id)实现相应的重构功能。特征编码器实现特征重建,图像解码器生成融合图像。将同一层中的公共部分和唯一部分输入到Fd,以生成一组重构的特征地图,表示为Fd(ck,uk)。此外,我们添加了一个补充块,以进一步确保突出区域的保存,其定义为请添加图片描述

FNN的流程

请添加图片描述
注意:是可见光的公共部分Cv和独特部分Uv一起成为M’v;M’v、M’r就是请添加图片描述结果

特征编码器Fe

请添加图片描述
将特征图分为公共部分和独特部分

特征解码器Fd

请添加图片描述

图像解码器Id请添加图片描述

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-10-08 20:42:06  更:2022-10-08 20:44:06 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年12日历 -2024/12/28 3:15:38-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码
数据统计