[人工智能]图像算法

相机的isp图像处理步骤：
1、拜耳模板彩色滤波阵列
黑电平校正
镜头矫正 二次项矫正 四次项矫正
坏点矫正 检测坏点并修复
2、
demosaic插值 拜耳模板到rgb 双线性插值
去噪声 均值滤波 高斯滤波 采用双边滤波
自动白平衡：
用白纸得到不同色温光照下的r和g的矫正参数，统计照片中白点和权重，得到照片的色温并根据矫正曲线进行矫正

颜色矫正
gamma矫正
3、
色彩空间转换 rgb to yuv
彩色去噪 低通滤波器

中值滤波：中心点邻域灰度值的中位数
高斯滤波：卷积核权重只考虑离中心点距离
双边滤波：在高斯滤波基础上，如果灰度值离中心点距离较小，权重加大

bagging：有放回抽样训练k个弱分类器，再投票
boosting：动态调整每个样本权重训练k个弱分类器再加权组合

canny边缘检测算法：
降噪高斯滤波
sobel算子求梯度
非极大值抑制
双阈值检测 迟滞阈值

过拟合解决方法：
l1 l2正则化 ， 使用l1，2范数，
数据增强，图像旋转 缩放等
early stopping，验证时在误差增大前停止
dropout，每次训练对每个神经网络单元按一定概率临时丢弃

batch norm：
减均值，除标准差，进行平移和缩放（平移参数和缩放参数），使每一层输出分布归一化，解决内部协变量偏差带来的不稳定问题，方便学习
layer norm：
对不同维度进行归一化，
batch norm：
对同一个batch的同一个通道（维度）不同数据进行归一化

模型的加速和压缩：
矩阵分解，权值共享，
全局平均池化代替全连接，
分组卷积 通道分组卷积
分解卷积 串联与并联
压缩： 量化 聚类
剪枝： 神经元 突触 权重矩阵 去掉参数接近0的，一步步微调
模型蒸馏 ：softmax升温，得到软目标，软目标loss和硬目标loss和共同训练小模型

resnet：
残差网络短路
残差 ：预测值和观测值的差

图像开闭运算：
开运算 先腐蚀后膨胀，分开细微连接的部分
闭运算 先膨胀后腐蚀，合并细微连接的部分
腐蚀 形态学滤波 有一个核做与运算

数据不平衡解决：
采样
数据合成
换评判方式，用confusion matrix、 precision&recall、 最后使用f1分数
使用决策树
修改分类阈值

3A算法
自动对焦 自动曝光 自动白平衡
自动白平衡
用白纸得到不同色温光照下的r和g的矫正参数，统计照片中白点和权重，得到照片的色温并根据矫正曲线进行矫正

模型初始化：
xavier初始化：适合tanh，输入和输出正向反向传播方差相近
he初始化 适合relu，将xavier除2

sgd：分批数据
动量梯度下降：
对各个mini batch求得的梯度使用指数加权平均得到新的动量梯度，正确方向加速
ada grad：学习率动手脚，错误方向加阻力
adam方法：结合ada和动量
m=b1*m+（1-b1）dx
v=b2v+（1-b2）*dx^2
w+=-learning rate * m/根号v

机器学习算法：
k近邻，k means，随机森林，svm支持向量机

特征降维：

static ：
static 静态变量，
改变函数内变量生命周期；
改变全局变量作用域为当前文件；
改变类内变量（类域中全局变量）可以类名直接调用，类内static函数类域中全局函数，没有this指针，只能访问static变量，不能是虚函数
const：
可以类型检查，

注意力机制：
多个w （qkv）矩阵对输入向量进行计算得到qkv，q乘k得到注意力矩阵。考虑了整个输入向量序列中向量间的相关性，用注意力值进行
量化的seq2seq模型
transformer：用了注意力机制，残差加layer norm搭建的encoder decoder模型

lstm：
长依赖rnn，记住lstm图片
遗忘门
输入门
输出门

mips
取指令 取寄存器 执行 访存 写回
数据冒险 nop 旁路
控制冒险 预测