[人工智能]ISP（图像信号处理）相关模块介绍

一、概述

ISP（image signal process）：图像信号处理

主要是用来对前端图像传感器输出信号处理的单元，能够匹配不同的图像传感器。

主要功能有线性纠正、噪声去除、坏点校正、白平衡、自动曝光、自动对焦等。

二、主要区块介绍

1.BLC（black level correction）黑电平校正/暗电流校正/OB

（1）概述：

? ? ? ? 黑电平校正就是对图像传感器输出信号做整体上下偏移，如果OB不随gain和exposure的变化? ? ? ? ? 而变化，我们通常给定一个常量。暗电流是用来定义图像数据为0时对应的信号水平。由于暗? ? ? ? ? 电流的影响传感器出来的实际原始数据并不是我们需要的黑平衡。所以，为减少暗电流对图? ? ? ? ? ?像信号的影响，可以采用的有效的方法是从已获得的图像信号中减去参考暗电流信号。

（2）问题：

? ? ? ? 传感器存在暗电流，暗电流是用来定义图像数据为0时对应的信号水平。

（3）解决：

? ? ? ? 所有像素值减去矫正值，得到矫正后的信号。

2.LSC（lens shading correction）镜头阴影校正

（1）概述

? ? ? ??是为了解决由于lens的光学特性，由于镜头对于光学折射不均匀导致的镜头周围出现阴影的? ? ? ? ? ? 情况。包括color shading和luma shading。

????????color shading：由于各种颜色的波长不同，经过了透镜的折射，折射的角度也不一样，因此? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 会造成color shading的现象，这也是为什么太阳光经过三棱镜可以呈现彩虹的? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 效果。

? ? ? ? luma shading：由于Lens的光学特性，Sensor影像区的边缘区域接收的光强比中心小，所造? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?成的中心和四角亮度不一致的现象。

（2）问题

? ? ? ? 通过镜头到达传感器中间的光多余到达边缘的光（渐晕），导致图像中间亮度高，边缘亮度? ? ? ? ? ? 低。

（3）解决

? ? ? ? 检测出图像中间亮度较均匀的部分，并以此为中心，计算周边区域需要的补偿值。

3.BPC（bad point correction）坏点校正

（1）概述：

????????图像传感器由于工艺的问题，或多或少都存在一定的坏点，表现为亮点，暗点或

????????彩点。

? ? ? ? 坏点：是指像素阵列中与周围像素点的变化出现明显不同的像素。

（2）问题

? ? ? ? 传感器是物理器件，坏点难以避免，且随使用时间增长而增加。

（3）解决

? ? ? ? a、检测坏点：在RGB域上做5*5的评估，若某点与其周围点偏离程度超过某阈值则为坏点? ? ? ? ? ? ? ? （为保证准确性可连续评估N帧）。

? ? ? ? b、矫正坏点：做中值滤波进行替换。

4.Demosaic颜色插值（去马赛克）

（1）概述

????????当光线通过 Bayer型 CFA（Color Filter Arrays） 阵列之后， 单色光线打在传感器上，每个? ? ? ? ? ? 像素都为单色光，理想的Bayer 图是一个较为昏暗的马赛克图。

（2）问题

? ? ? ? CMOS传感器采用Bayer色彩滤波矩阵

（3）解决

? ? ? ? 白色像素点的值与其附件同色点的像素值相近，可使用内插法

5.Bayer Denoise去除噪声

（1）概述

? ? ? ? 使用CMOS sensor获取图像，光照程度和传感器问题是生成图像中大量噪声的原因。在图像? ? ? ? ? 生成过程中又会产生其他噪声，这些噪声会使图像变得模糊不清，丢失图像该有的细节。

（2）问题

? ? ? ? 传感器的感光器件包含模拟部分，噪声难免；ADC器件本身也会引入噪声，且光线较暗时会? ? ? ? ? 放大信号，与此同时噪声也会被放大，在图像上呈现彩色雪花点；

（3）解决

? ? ? ? 降噪处理-低通滤波器（均值滤波、高斯滤波（空间距离关系）、双边滤波（兼顾空间与权? ? ? ? ? ? ? 重））

6.AWB（automatic white balance）自动白平衡

（1）概述

????????任意环境下，把白色物体还原成白色物体

? ? ? ? AWB在图像处理过程中自动的移除由于光源亮度带来的偏色来还原色彩。

? ? ? ? AWB处理通过在Rg/Bg空间分析灰度统计位置，估计图像中的光源。

（2）问题

? ? ? ? 传感器获取的图像易受光源颜色的影响，如白纸在低色温下偏黄，高色温下偏蓝（但是人眼? ? ? ? ? ? 视觉系统颜色恒常特点，人脑对于颜色的先验认知会进行视觉修正）。

（3）解决

? ? ? ? 灰度世界（假设世界为灰色，调整RB，使得G=R=B），完美反射法等。

? ? ? ? a、检查色温（可手动调节较好，自动调节则需要相应算法与约束条件估计出图像的白色位? ? ? ? ? ? ? ? ? 置）

? ? ? ? b、求增益，使得Cb、Cr调为0（或近似为0），使得G=R=B;

? ? ? ? c、校正色温，根据增益进行调整。

7.CCM（color correction matrix）颜色校正

（1）概述

????????颜色校正主要为了校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差。

（2）问题

? ? ? ? 传感器滤光板各颜色之间的颜色渗透所带来的颜色的误差

（3）解决

? ? ? ? 使用标准图像与传感器所得图像进行比较，得出校正矩阵，该标准图像则采用3*3的矩阵进行? ? ? ? ? 校准，该矩阵每一系数r1+g1+b1=1恒定。

8、Gamma校正

（1）概述

????????伽玛校正是为了符合人眼特性而设计的。

（2）问题

? ? ? ? 人眼在感知亮度时，不同于摄像机的线性增加，而是亮度达到一定的情况下不再感知明显。

（3）解决

? ? ? ? 更具查表法，依据伽马值将不同亮度范围的理想输出值在表中设定好。经过该处理后的图像? ? ? ? ? ? 拥有更多的暗部色阶，满足人眼对暗部细节敏感的特性。

9.CSC色彩空间转换

（1）概述

????????RGB与YCbCr颜色空间的转换。

（2）问题

? ? ? ? 传感器的输出RAW DATA是RGB，而在YUV色彩空间上彩色去噪或边缘增强更方便，且传输? ? ? ? ?与存储也省宽带。

（3）解决

? ? ? ? 转换矩阵处理

10.颜色降噪/锐化

（1）概述

? ? ? ? NR降噪：由于模拟电路存在噪声，在预览图像上体现出来的是无规则跳动的像素，在照片中? ? ? ? ? ? ? ? ? ? ? ? ? 体现出来的就是一些明显异常的像素点。

? ? ? ? 锐化：为了消除降噪过程中对图像细节的损失，需要对图像进行锐化处理，还原图像的相关? ? ? ? ? ? ? ? ? ? ? ?细节。

（2）问题

? ? ? ? 在YUV色彩空间上进行降噪以及还原细节

（3）解决

? ? ? ? 降噪：低通滤波器（MXN的高斯低通滤波）

11.AEC（automatic exposure control）自动曝光

（1）概述

????????为了得到合适的图像亮度，需要自动曝光控制。

（2）问题

? ? ? ? 不同场景光照强度不同，人眼可自动调节，感应合适的亮度，而传感器无法做到

（3）解决

? ? ? ? a、光强测量：根据曝光信息获得当前光照信息

? ? ? ? b、场景分析（关键技术）：主要有模糊逻辑和人工神经网络算法，场景有背光照射或正面? ? ? ? ? ? ? ? ? 强?光。

? ? ? ? c、曝光补偿：调节曝光时间与曝光增益

12.AFC（automatic focus control）自动对焦

（1）概述

?????????可以通过移动镜头位置来改变焦距从而实现自动对焦。

????????AF模组包括：FF模组，音圈马达（VCM），AF Driver IC。

????????AF的对焦原理是通过电磁感应使镜头移动，改变焦距完成自动对焦。

????????AF的目的是确定实现对焦的最佳镜头位置，并触发VCM将镜头移动到该位置。

（2）AF对焦方式分为：

????????对比度/反差对焦（CAF），相位对焦（PDAF），激光对焦（TOFAF）每种算法都实现了检? ? ? ? ? 测和搜索功能。

? ? ? ? a、CAF（contrast AF）

????????????????对比度对焦，也叫反差对焦。对焦的过程就是通过移动镜片来使对教区域的

????????????????图像达到最清晰的过程。反差对焦的工作方式是进行对比度检测。

? ? ? ? b、PDAF（phase detection auto focus）

????????????????相位对焦，是在像素传感器上拿出左右相对的成对像素点，分别对场景进行处理。

13.EE 边缘增强

（1）概述? ? ??

????????通过算法对相邻区域存在亮度差异的边缘或方向信息放大，以便更清晰的显示

????????被摄物体的轮廓

? ? ? ? 参考：本文链接：ISP各个模块功能介绍1_Amaris_wang-CSDN博客_isp模块