| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 人工智能 -> 图像融合概述 -> 正文阅读 |
|
[人工智能]图像融合概述 |
多源图像融合简述 图像融合的概念:融合是一种图像增强方法,应用于摄影可视化、物体跟踪、医学诊断、遥感监测等诸多领域。 图像融合的意义:图像融合是理解图像和计算机视觉领域重要的技术,进行多源数据智能融合,可以实现比单一传感器数据决策更精确,融合的图像更符合人和机器的视觉特性,也有利于更进一步对图像进行目标识别和检测。 图像融合的层次分类(按照融合时间): ? 基于像素的融合; ? 基于像素的空间域的融合; 图像融合的数据来源: ? 多聚焦的图像的融合(如:数码摄影影像) ? 遥感数据:全色相机、彩色/多光谱相机,高光谱相机、热红外相机、夜光相机、立体相机、视频相机、合成孔径雷达SRA、激光测量仪。(同一场景多源遥感图像观测的地物对象相同,但观测的维度不同,图像的空间、光谱与时间分辨率存在差异。不同源获取的遥感图像原理不同,图像的空间分辨率、观测尺度预计反映的目标特性也会存在差异) ? 视觉相机:是必不可少的传感器,它们是廉价的传感器,并且可以为周围场景提供密集的像素信息。 ? 红外和热成像:对比度显著,即使在恶劣天气下也能有效地从背景中突出目标。可见图像包含丰富的纹理细节,更符合人类的视觉感知。红外和可见光图像融合就是将这两种特性结合起来,产生对比度高、纹理丰富的结果。在不利的光线条件和夜视中用于环境感知应用。 ? 激光雷达LiDAR:激光束狭窄,隐蔽性好,被截获的概率很低。(点云数据能够提供地物的空间三维信息,尤其是高精度的高程信息,弥补遥感图像无法有效表示建筑物的侧面墙体、植被高度等立面信息的缺陷,而且点云数据可以直接应用于三维模型重构。缺点:点云数据点集离散分布,无法有效表示地物的轮廓线,并且缺少光谱、纹理信息。融合二者优势,用于地物分类。) ? SRA是合成孔径雷达成像: SRA是一种主动微波成像,穿透作用强,能够有效的探测伪装目标,成像不受光线、气候和云雾的限制。多应用于军事侦探、地理测绘、灾害监测等领域。优势:在方位和距离上都能获得很高的几何分辨力,突破经典雷达的分辨率极限。SRA机载卫星具有全天时、全天候的优势,在军事中应用广泛。 ? 全色、多光谱、高光谱图像融合。高分辨和低分辨率的高光谱图像融合,可以极大地提升高光谱图像的空间分辨率。空谱融合是遥感图像融合领域的热点问题。 ? 全色/多光谱与SRA合成孔径雷达图像融合。SRA成像容易受到噪声的影响。SRA图像与全色、多光谱图像融合,综合二者优势,可以生成更高质量的图像。 ? SRA与红外图像的融合。SAR图像在边缘点处表现出孤立的不连续性。红外图像可以近似反映观察对象的温度梯度和辐射梯度,能够提供比较完整的边缘和纹理信息。将SAR图像与红外图像进行融合,可以将红外图像得到的边缘和纹理信息加入到SAR图像中,融合图像的边缘和纹理将更加融合,同时保持了SAR图像的频率特性,这使得融合图像更具可读性。 ? 激光雷达点云数据与RGB 图形的融合:激光点云数据具有精确的集合信息,但是数据非常稀疏如图1。图像数据分辨率高、具有丰富的纹理特征。二者融合,可以互补如图2。 点云数据—>二维坐标转换为深度图-?深度图密集处理 深度图: 计算机视觉系统中,三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性,而深度图像(Depth map)作为一种普遍的三维场景信息表达方式得到了广泛的应用。深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近如图3。深度图像的像素值反映场景中物体到相机的距离,获取深度图像的方法=被动测距传感+主动深度传感。被动测距传感中最常用的方法是双目立体视觉。主动深度传感的方法主要包括了TOF(Time of Flight)、结构光、激光扫描等。 高光谱图像与多源遥感数据融合分类: 高光谱数据通道数多(几十到数百),高光谱图像可以探测到宽波段遥感中不能被探测的特征。但是高光谱图像空间分辨率较低使得空间特征不够丰富,不能全面反映目标特征。 图形融合的应用领域: 数码摄影影像融合主要包括多曝光图像融合和多焦点图像融合。方法:CNN和GAN; 多模态图像融合 如:红外和可见光图像的融合;医学图像的融合;锐化融合(多光谱锐化、高光谱锐化);人工智能的方法:AE(自动编码器),CNN,GAN **医学图像的融合:**医学图像融合将两种不同类型的医学图像结合起来,生成信息更丰富的单一图像,有利于对疾病进行更准确的诊断 方法:CNN 和 GAN。 锐化融合:克服光谱分辨率与空间分辨率矛盾的有效技术。在空间图像的引导下,致力于在保持光谱分辨率的同时,在空间维度上实现超分辨率。两个典型的锐化融合任务是多光谱图像锐化和高光谱图像锐化。 多光谱锐化是将低空间分辨率(LRMS)的多光谱图像与全色(PAN)图像融合,生成高空间分辨率(HRMS)的多光谱图像。方法:CNN 和 GAN。 高光谱图像具有更高的光谱分辨率和更低的空间分辨率。因此,可以通过将低空间分辨率(LRHS)的高光谱图像与多光谱图像或全色图像融合来实现高光谱锐化,从而产生高空间分辨率(HRHS)的高光谱图像。方法:CNN 和 GAN。 统一(普适性)图像融合方法 存在的问题:
自动驾驶中融合: 自动驾驶中的传感器分类: 主被动传感器融合实现: 定位:通过全球导航卫星系统(GNSS)、惯性测量单元(IMU)、惯性导航系统(INS)、里程表、摄像头、激光雷达获得车辆的相对位置和绝对位置。 视觉相机:是必不可少的传感器,可生成AV环境的详细环境视图。它们是廉价的传感器,并且可以以相对较低的成本为周围场景提供密集的像素信息。普通的基于视觉的系统无法提供建模3D环境所需的深度信息。一种替代方法是使用由多个位于不同位置的摄像机组成的立体视觉系统。然而,这些系统对外部环境条件也极其敏感,例如光强度(弱光和直射阳光)。 双目相机:一种替代方法是使用由多个位于不同位置的摄像机组成的立体视觉系统,系统对外部环境条件也极其敏感。 激光雷达LiDAR: 提供深度信息,同时对外部天气条件具有鲁棒性。 红外和热成像的使用是研究人员经常研究的另一个活跃领域,用于环境感知应用,尤其是在不利的光线条件和夜视中。 融合:热像仪已与RGB-D或LiDAR传感器融合以增加深度,从而提高系统性能。定位和地图绘制通常使用不同传感器组合:GPS,IMU、LiDAR和相机。 推荐文章: |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/1 12:37:18- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |