o 常见的存储的格式有：bmp, jpg, png, tiff, gif, pcx, tga, exif, fpx, svg, psd, cdr, pcd, dxf, ufo, eps, ai, raw, WMF, webp等
o BMP：采用位映射存储格式，不采用其他任何压缩，所占用的空间很大。
o JPG：最常见的有损压缩格式，能够将图像压缩到很小的空间，压缩比可达10:1到40:1之间。
o GIF：基于LZW算法的连续色调的无损压缩格式，其压缩率一般在50%左右。
o PNG：是比较新的图像文件格式，能够提供长度比GIF小30%的无损压缩图像文件。

图像增强的目标

改善图像的视觉效果
转换为更适合于人或机器分析处理的形式
突出对人或机器分析有意义的信息
抑制无用信息，提高图像的使用价值
具体的说：包括图像锐化，平滑、去噪，灰度调整（对比度增强）

图像处理方法

?特征提取方法

直方图（Histogram）

对图片数据/特征分布的一种统计
??????????????????灰度、颜色
??????????????????梯度/边缘、形状、纹理
??????????????????局部特征点、视觉词汇
区间（bin）
??????????????????具有一定的统计或物理意义
??????????????????一种数据或特征的代表
??????????????????需要预定义或基于数据进行学习
??????????????????数值是一种统计量：概率、频数、特定积累
对数据空间（bin）进行量化

?直方图均衡化

?直方图均衡化是指：利用图像直方图对对比度进行调整的方法。
?直方图均衡化通常用来增加许多图像的局部对比度，尤其是当图像的有用数据的对比度相当接近的时候。
?直方图均衡化以后，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
?直方图均衡化：实质上是对图像进行非线性拉伸
?重新分配各个灰度单位中的像素点数量，使一定灰度范围像素点数量的值大致相等。

?自适应直方图均衡

?直方图均衡的经典算法对整幅图像的像素使用相同的变换，如果图像中包括明显亮的或者暗的区域，则经典算法作用有限。
?自适应直方图均衡（AHE）算法通过对局部区域进行直方图均衡，来解决上述问题。
????????·移动模板在原始图片上按特定步长滑动；
????????·每次移动后，模板区域内做直方图均衡，映射后的结果赋值给模板区域内所有点，
????????·每个点会有多次赋值，最终的取值为这些赋值的均值。

CLAHE

?AHE会过度放大图像中相对均匀区域的噪音，可采用限制对比度自适应直方图均衡(CLAHE) 。
?与普通的自适应直方图均衡相比，CLAHE的不同地方在于直方图修剪过程，用修剪后的直方图均衡图像时，图像对比度会更自然。

?小黑点的灰度直接由映射函数计算得到；
?粉色区域内点的灰度由映射函数计算而得；
?绿色区域内点的灰度由由相邻2块灰度映射值线性插值而得；
?其他区域所有点的灰度由相邻4块的灰度映射值双线性插值而得。

?算法步骤

?1.图像分块，以块为单位；
?2.先计算直方图，然后修剪直方图，最后均衡；
?3.遍历操作各个图像块，进行块间双线性插值；
?4.与原图做图层滤色混合操作。（可选）

?形态学运算

?膨胀是图像中的高亮部分进行膨胀，类似于领域扩张。
?腐蚀是原图的高亮部分被腐蚀，类似于领域被蚕食。

?开运算：先腐蚀再膨胀，可以去掉目标外的孤立点。
?闭运算：先膨胀再腐蚀，可以去掉目标内的孔。
?通常，当有噪声的图像用阈值二值化后，所得到的边界是很不平滑的，物体区域具有一些错判的孔洞，背景区域散布着一些小的噪声物体，连续的开和闭运算可以显著的改善这种情况。

空域分析及变换

滤波/卷积?? ?

?在每个图片位置（x, y）上进行基于邻域的函数计算
????????滤波函数→权重相加
????????????????卷积核、卷积模板 ?滤波结果
????????????????滤波器、滤波模板
????????????????扫描窗

?不同功能需要定义不同的函数
????????平滑/去燥
????????梯度/锐化
????????边缘、显著点、纹理
????????模式检测
?? ??参数解释????
????????x, y是像素在图片中的位置/坐标
????????k, l是卷积核中的位置/坐标
????????????????中心点的坐标是（0,0）
?????f[k, l]是卷积核中在（k, l）上的权重参数
?????I[x+k, y+l]是与f[k, l]相对应的图片像素值
?????h[x, y]是图片中(x, y)像素的滤波/卷积结果

?? ? 边界填充（Padding）
????????获得同尺寸输出的情况下
????????卷积核越大，补充越多
??? ?补充类型
????????补零（zero-padding）
????????边界复制（replication）
????????镜像（reflection）
????????块复制（wraparound）

?边界填充策略

均值滤波

平滑均值滤波

均值滤波本身存在缺陷，既没有很好地去除噪声点，也破坏了图像的细节反而使图像变得模糊。

平滑中值滤波/卷积

奇数尺寸
??? ?3x3，5x5，7x7，2n-1 x 2n-1
操作原理
??? ?卷积域内的像素值从小到大排序
??? ?取中间值作为卷积输出
有效去除椒盐噪声

?将领域矩阵中的N个像素进行排序，并将这个矩阵的中心点赋值为这N个像素的中值。

平滑高斯滤波/卷积

奇数尺寸
??????????? ?3x3，5x5，7x7，2n-1 x 2n-1
模拟人眼，关注中心区域
有效去除高斯噪声
参数
??????????? ?x, y是卷积参数坐标
??????????? ?标准差?

?梯度Prewitt滤波/卷积

梯度Sobel滤波/卷积?

?梯度Laplacian滤波/卷积

Laplacian滤波锐化?

?其他滤波/卷积

?频域分析及变换

如何让卷积更快：空域卷积=频域乘积

?高斯金字塔

? ? 图像金字塔化：先进行图像平滑，再进行降采样，
?? ? 根据降采样率，得到一系列尺寸逐渐减小的图像。
?? ? 操作：n次（高斯卷积?2倍降采样）?n层金字塔
?? ? 目的：捕捉不同尺寸的物体

?高斯金字塔本质上为信号的多尺度表示法

拉普拉斯金字塔

拉普拉斯金字塔（Laplacian）
?????????? ? 高频细节信息在卷积和下采样中丢失
?????????? ? 保留所有层所丢失的高频信息，用于图像恢复
?

?高斯金字塔与拉普拉斯金字塔

频率域分析——傅里叶变换?

?傅里叶变换的数学

?欧拉公式描述的是一个随着时间变化，在复平面上做圆周运动的点；傅里叶变换描述的就是一系列这样的点的运动叠加的效应。

?离散傅里叶变换

?傅里叶变换的不足

??关键问题——傅里叶变换假设前提为信号平稳，但实际中信号多数为非平稳信号。
????????缺乏时间和频率的定位功能
????????对于非平稳信号的局限性
????????在时间和频率分辨率上的局限性

?短时傅里叶变换

?STFT（短时傅里叶变换）添加时域信息的方法是设置窗格，认为窗格内的信号是平稳的；
?然后对窗格内的信号分段进行傅里叶变换。
????????优点是可以获得频域信息的同时可以获得时域信息。
????????缺点是窗格大小很难设置。

?短时傅里叶变换的特点

?窄窗口时间分辨率高、频率分辨率低；宽窗口时间分辨率低，频率分辨率高。
?对于时变的非稳态信号，高频适合小窗口，低频适合大窗口。
?可是STFT的窗口是固定的……

?小波变换

?小波变换与STFT思路接近，但小波变换直接把傅里叶变换的基给换了——将无限长的三角函数基换成了有限长的会衰减的小波基。
?这样不仅能够获取频率，还可以定位到时间。

?所谓“小波函数”是一族函数，需要满足
????????1.均值为0；
????????2.在时域和频域都局部化（不蔓延到整个坐标轴）
?满足这两条的函数就是小波（Wavelet）函数，有很多种类，最简单的是Haar小波。
?小波变换要做的就是将原始信号表示为一组小波基的线性组合，然后通过忽略其中不重要的部分达到数据压缩（即降维）的目的。?