一、中文文献阅读

七月上旬阅读了12篇中文文献，包含期刊论文和学位论文
【求生欲】以下仅为笔者拙略肤浅毫无深度的一些笔记和思考，欢迎纠错，所有观点也是基于笔者的研究方向考虑文章对笔者的价值，笔者能力有限，并未能作更深层的分析，望见谅。
[1]钟明,许贤泽,王星宇.基于3D定位的光纤棒内部缺陷检测方法[J].激光杂志,2021,42(02):72-76.
笔记：首先对线激光旋转扫面所得图像进行图像处理（最小二乘计计算矫正，图像二值算法或的缺陷像素点）；然后利用折射对缺陷所在坐标进行矫正；最后三维建模（三维二值矩阵连通域）。
思考：对三维物体的特定像素点进行坐标轴定位。
[2]周扬眉,罗开礼,孙怀义,莫斌.基于图像处理技术的芯片表面缺陷检测系统的设计与实现[J].自动化与仪器仪表,2021(01):182-184+188.
笔记：图像预处理（直方图均衡化）–位置检测（基于灰度值的模板匹配）–边缘提取（卡普拉斯算子）–区域分割与尺寸检测（视同灰度和区域生长）
思考：仅利用现有技术开发了一个系统，创新点不明确。
[3]陈广锋,王琳霞,席伟,周敏飞.基于区域生长法的QFP芯片引脚缺陷检测算法[J].东华大学学报(自然科学版),2020,46(03):401-407.
笔记：图像预处理（滤波，阈值分割）–引脚定位（区域生长）
局限：不考虑无损情况，仅研究引脚外侧部分。
思考：没看明白所提的是什么算法，感觉也仅是利用了现有的算法完成实验。
[4]金闳奇,陈新度,吴磊.结合随机子空间和级联残差网络的缺陷检测[J].计算机工程与应用,2020,56(23):265-269.
笔记：提出一种结合随机子空间和级联残差网络的缺陷检测方法：图像滤波（MLBP、DoG、Gauss）–随机子空间（小样本）–级联残差网络（创新点：采用B个残差网络的级联代替最优残差网络的求解）–分类器（softmax）
思考：
[5]宋丽梅,周兴林,徐可欣,曲兴华,叶声华.基于单幅测量图像的三维缺陷检测技术[J].光学学报,2005(09):45-50.
笔记：基于阴影恢复形貌方法，对光源系统和三维处理算法改进，（0-180°）
思考：文献较旧，仅恢复形貌。
[6]吴福培,朱树锴,李昇平.基于单幅图像的集成电路引脚共面性检测方法[J].光学学报,2020,40(01):299-306.
笔记：图像采集（单目，三色环形结构光）–图像预处理–三维重建（划分不同区域）–缺陷检测（所测值与实际值对比）
思考：仅单目，仅判断是否共面，重建结果置信水平为95.12%。
[7]吴庆华. 基于线结构光扫描的三维表面缺陷在线检测的理论与应用研究[D].华中科技大学,2013.
笔记：机器视觉检测即通过特定的光源和图像传感器获取产品的表面图像，通过特定的算法对图像进行处理，提取出产品的特征信息，根据提取的信息对产品质量进行判断。
二维检测：受成像质量影响，根本原因是关照。
三位检测：提前表面点云，计算与标准点云之间的偏差。
该文采用线结构光扫描三维缺陷检测：表面数学模型–传感器标定及精度分析–图像处理–缺陷表示与识别
思考：该文创新点是在每一环节都对经典算法进行了相应的改进，可参照该文的技术路线进行进一步研究，该文所用方法较为经典，可考虑在该文的技术路线采用人工智能算法。
[8]巢渊. 基于机器视觉的半导体芯片表面缺陷在线检测关键技术研究[D].东南大学,2017.
笔记：基于机器视觉的在线检测系统。系统设计（明暗场同时照明，相机景深模型，离线训练和在线检测）–图像预处理（快速切分矫正，改进的快速定向双三次图像插值算法）–阈值分割（提出三种分割算法）–缺陷特征提取与分类（形态学，纹理方向，支持向量机）
思考：可与上篇的博士论文对比研究，发现其共同点和不同点，技术路线相似，算法同样可考虑采用智能算法改进。
[9]雷峥鸣. 基于机器视觉的PCB焊锡缺陷检测[D].广东工业大学,2020.
笔记：基于二维视觉，创新点是改进传统的霍夫圆变化算法（仅在原算法基础上减少一个维度）
[10]周小萌. 基于深度学习的IC芯片外观缺陷识别算法研究[D].江南大学,2019.
笔记：基于二维图像，图像预处理–精确定位算法–多特征的缺陷识别算法–CNN分类器的缺陷识别算法。
思考：对笔者的研究无太大参考价值。
[11]夏成蹊. 基于图像处理的集成电路芯片表面缺陷检测算法研究[D].贵州大学,2019.
笔记：图像预处理，最大类间方差算法，数据测定
思考：对笔者的研究无太大参考价值。
[12]马勇,虞勇坚,解维坤,邹巧云,张凯虹,章慧彬.基于缺陷检测的多芯片塑封光耦器件开封方法[J].电子元器件与信息技术,2021,5(01):3-5.
笔记：对塑封光耦器件开封方法的研究
思考：与笔者研究主题不相关。

二、刘利刚-深度学习

1.通过诸如采样、实验等方法获得若干离散的数据（称为样本数据点），然后根据这些数据，希望能得到这些变量之间的函数关系，这个过程称为数据拟合，在数理统计中也称为回归分析。若输出结果为离散的，称为分类。
2.要求函数严格通过每个样本点，则求解函数的问题称为插值问题；只要求函数反映这些样本点的趋势，称为逼近问题。
3.逼近函数类选择的两个“纠结”：选择什么样的逼近函数类？选择过高的次数或阶数？过高容易造成“过拟合”，过小容易“欠拟合”。
4.自由度：一个逼近函数“表达能力”体现在该函数的未知参数与样本点个数的差，也成为自由度。
5.最小二乘法
6.稀疏表达与稀疏学习
（1）在Lasso回归的分析，对回归变量施加L0范数||W||0的正则项，以达到对回归变量进行稀疏化，及大部分回归变量为0，这种优化称为稀疏优化。
（2）非0的基函数反映了的样本点集合的“特征”，也称为特征选择。
（3）为了保证防止丢失一些基函数（特征），可以选取基函数的个数比输入向量的维数还要大，称为“超完备”基或过冗余基，在稀疏学习中称为“字典”。
（4）选取较多的基函数及较高的次数，通过稀疏优化来选择（“学习”）合适的基元函数，也称稀疏学习。
（5）基函数（字典）和稀疏系数也可以同时通过优化学习得到，称为字典学习。
7高维的逼近函数：一元函数（一个自变量，一个因变量），多元函数（多个自变量，一个因变量），一元向量值函数（一个自变量，多个因变量），多元向量值函数（多个自变量，多个因变量）。
8.从人工神经网络的观点来看拟合函数
（1）在神经网络中，将隐层的的基函数称为“激活函数”。
（2）输入层到隐层的权设为常值1，也可以看成为将输入层的值“直接代入”到激活函数。
（3）隐层到输出层的权为基函数的组合系数。
（4）中间隐层的输出节点所形成的向量可看作为输入量的“特征”。
（5）整个神经网络就是由中间节点的激活函数及权系数所决定的一个函数。
（6）称样本点为训练数据，称函数在训练数据上的误差度量为损失函数。
（7）通过训练数据来极小化损失函数得到的权系数的过程称为“训练”或“学习”。如果损失函数取为欧氏距离范数（L2范数）作为误差度量的标准的形式，则网络的训练过程本质上就是最小二乘法。
（8）多元函数和向量值函数：即神经网络中的隐层有多个，这里隐层的激活函数都是m维函数。
（9）曲线曲面拟合的过程是寻求样本点的参数化以及表达函数的基函数，使得拟合误差极小化。
9.神经网络的两个“纠结”：隐层中的节点中使用什么样的激活函数（基函数）？隐层中设置多少个节点（基函数的次数）？
10.通用人工神经网路
（1）使用简单元函数作为激活函数，y=ax+b.
（2）单隐层神经网络，网络的学习过程本质上就是在学习所有的系数参数。
（3）从函数逼近论的角度，神经网络的学习过程本质上就是在学习基函数。
（4）万能逼近定理
（5）深度神经网络：多隐层神经网络，也叫全连接神经网络或多层感知机。
11.深入理解深度神经网络
（1）常用激活函数：Sigmoid、Leaky ReLU、tanh、Maxout、ReLU、ELU
（2）反向传播算法（BP优化算法）：常见的损失函数有均方误差、平均绝对误差、分位数损失、交叉熵、对比损失等。由于整个网络是一个复合函数，因此训练的过程就是不断地应用”复合函数求导“（链式法则）及”梯度下降法“。激素那过程中计算误差项是每一层都要乘以本层激活函数的导数。
（3）梯度消失：前面层的权重梯度接近于0，参数不能得到有效更新。
（4）梯度爆炸：激活函数导数的绝对值大于1，多次连乘后权重值会趋向于非常大的数。
（5）深度神经网络的本质：复杂的多层复合函数。训练的过程就是在求激活函数变换得到的”基函数“，训练神经网络的本质就是在”学习基函数“。
（6）每个隐层就是将前一层的数据作为输入在当前这个维数的空间中的一种映射，本质上就是在做”参数化“！
（7）从逼近论的角度，将多隐层优化看成数据在不同位维数空间的参数化。
（8）流行学习/数据降维：寻求高维数据的本征维数。
（9）非端对端学习：传统机器学习的流程一般有两个主要模块组成。第一个模块称为特征工程，将原始输入数据（高维向量）变换为一个低维向量，即用这个低维向量来作为表达输入数据的特征（或描述子），称为特征抽取，如何选择或组合各种特征得到更好的特征是特征工程的另一个子问题，称为特征选择。第二个模块称为预测模块（拟合），即选用什么样的预测方法来拟合给定的数据。
（10）端到端网络：特征可以自己去学习，不需要将任务分为多个步骤分步去解决，而是从输入端的数据直接得到输出端的结果。
（11）端到端学习的好处：使学习模型从原始输入到最终输出，直接让数据”说话“，不需人工设计的模块；给模型更多可以根据数据自动调节的空间，增加模型的整体契合度。
12.从数学上理解了深度人工神经网络本质上是表达不同维数空间之间的一个映射（函数）。给了一些样本点后，通过调整网络的参数权系数，不断极小化损失函数，从而达到最好的拟合结果得到了拟合函数。因此局限是保持结构的映射。
13.看懂各种神经网络结构的3个要素：
（1）神经与与激活函数：神经元接收什么数据，通过什么样的激活函数输入数据。
（2）神经网络结构：不同的神经网络就是不同的多层复合形式的函数。
（3）神经网络的组合：一个多层的神经网络就是一个多次复合的函数。
14.调试深度神经网络：炼丹…
（1）要可视化你的结果。
（2）网络不是越深越好。
（3）先建立一个较小的网络来解决核心问题，然后再一步一步扩展到全局问题。
（4）先用小样本做训练，有了感觉后再调试大的训练数据。
（5）如果几百次迭代后仍未开始收敛，则可考虑修改你的网络了。
（6）注意避免梯度消失或梯度爆炸。
（7）自行查找经验分享。
15.深度学习要有的清醒：
（1）深度学习模型需要大量的训练数据，才能有较好的效果；因为这些学习模型都在做数据拟合或回归，或者实在做统计；
（2）实际问题中，往往会遇到小样本问题，采用传统的简单的机器学习方法，则可以很好地解决了，没必要非得用复杂地深度学习方法。
（3）神经网络看起来来源于人脑神经元的启发，但绝不是人脑的模拟，它只是一个复合函数。
16.机器学习是一种实现人工智能的方法。其基本做法是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。传统的机器学习算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等。从学习方法上来分，机器学习算法可以分为监督学习（如分类问题）、无监督学习（如聚类问题）、半监督学习、集成学习、深度学习和强化学习等。
17.深度学习是一种实现机器学习的技术，是解决特征表达的一种学习过程。
18. 3D 数据集：
（1）ShapeNet 数据集
（2）ModelNet 数据集
（3）ShapeGoogle 数据集
（4）SHREC 数据集
（5）Watch-N-Patch 数据集
19. 3D 形状描述子
20. 3D 几何数据的深度学习的挑战
（1）3D 数据集较小
（2）3D 数据是非结构化的
（3）3D 数据的复杂性：正向姿态性，表达不统一，数据不完整。
21.应用深度学习来自动抽取3D形状特征主要有以下3中方法：
（1）基于传统的人工特征（维数一致了）来进行更抽象的形状特征的学习和抽取；这种方法是非端到端的
（2）将 3D 数据转化为规整结构数据（欧式区域），然后再应用深度学习方法抽取形状特征，称为显示方法
（3）将深度神经网络改造成能够处理非欧式区域数据，称为隐式方法。
22.端到端的生成模型：输入是简单易获得的，输出是单位模型，中间无需其他操作。

三、数字图像处理与分析-刘定生

1.数字图像处理（Digital Image Processing）又称为计算机图像处理，它是指通过计算机对图像进行去除噪声，增强，复原，分割，特征提取等运算与处理。
2.数字图像处理与分析的哲学观点
（1）连续与离散
（2）表示与处理
（3）结果与效应
3.基本出发点：用离散技术处理连续世界的图像，处理的结果一般地要以连续的形式演绎。
4.“数字图像处理”不是指“处理数字图像”，而是指”图像的数字处理“。
5.RGB、CMYK、HSI颜色模型之间的转换
6.图像的表示：
（1）矩阵：黑白（二值图像），灰度（量化的灰度级），彩色图像（RGB）
（2）链表：描述目标物体的边界
（3）拓扑结构：描述一组图形及其相互关系
（4）关系结构：描述一组物体及其相互关系
（5）距离：描述图像中像素之间的距离（欧几里得距离，小区距离，棋盘距离）
（6）像素的邻域：描述与像素相邻的其他像素（4邻域，8邻域）
（7）区域：一组连续相邻的像素集合
7.图像的统计特征：均值，方差
8.图像的像素级运算
（1）点运算：线性点运算，非线性点运算
（2）代数运算：加法，减法，乘法，除法
（3）逻辑运算：求反，异或，或，与
9.图像的空域变换
（1）几何变换：改变图像的形状（基本变换，灰度插值）
（2）离散几何变换：空间坐标（向前映射法，向后映射法），像素值计算（灰度插值/重采样）：最近邻插值法，双线性插值（一阶插值），高阶插值
（3）非几何变换：改变图像像素值（模板（系数矩阵）运算，灰度变换（点运算），直方图变换）
10.灰度直方图：用来表达一副图像灰度级分布情况的统计表，横坐标是灰度，纵坐标为某一灰度值的像素个数或称之为某一灰度值出现的频率。
11.直方图变换
（1）直方图均衡方法的基本思想是使目标图像的直方图具有平直的直方图，从而改变图像整体偏暗或整体偏亮，灰度层次不丰富的情况。
（2）对在图像中像素个数多的灰度级进行展宽，对像素个数少的灰度级进行缩减，从而达到清晰图像的目的。
12.图像的频域变换
（1）频域变换的理论基础
a，线性系统，线性系统的移不变性，卷积与相关
b，正交变换，连续函数集合的正交性和完备性，酉变换及其性质，基图像及其特征
c，离散图像的正交变换，可进行图像变换的基本条件，离散图像正交变换的特性
（2）傅里叶变换定义与特征
a，调谐信号（欧拉公式），傅里叶变换定义，二维离散傅里叶变换
b，二维离散傅里叶变换的性质
（3）二维离散傅里叶变换的显示与计算
a，离散傅里叶变换的显示
b，离散傅里叶变换的幅度与相位
c，离散傅里叶变换的计算
d，快速傅里叶变换（FFT）原理
（4）傅里叶变换的应用
a，在图像高低通滤波中的应用
b，在图像噪声滤波中的应用
c，在图像的选择性滤波中的应用
d，在图像压缩中的应用
e，在图像增强中的应用
（5）其他变换
a，离散余弦变换
b，沃尔什-哈达玛变换
c，K-L变换
d，哈尔变换
e，小波变换：傅里叶变换的局限性，傅里叶变换到小波变换，联系小波变换，基本小波与小波基函数，几种典型的一维小波，小波变换的基本性质，二进正交小波变换，尺度向量和尺度函数，Haar小波变换实例，二维离散小波变换。
f，小波变换的应用：在图像压缩中的应用，在噪声滤波中的应用，在图像融合中的应用
13.图像增强
（1）低频区域：图像变化平缓的部分靠近频率平面的圆心
（2）高频区域：图像中的边，噪音，变化陡峻的部分，以放射方向离开频率平面的圆心
（3）空域处理：点运算增强，直方图均衡化，彩色图像增强，空域模板滤波（平滑滤波，锐化滤波）
（4）空域滤波分类：数学形态（线性滤波器，非线性滤波器），处理效果（平滑滤波器，锐化滤波器）
（5）频域处理：频域滤波增强原理，频域滤波（低通，高通，同态，小波变换）
（6）在傅里叶变换域，变换系数反映了图像在空域难以定义的某些特征：
a，频谱的直流低频分量对应于图像的平滑区域
b，频谱的高频分量对应于图像的边沿或变化剧烈区域
c，外界叠加噪声对应于频谱中频率较高的部分
d，恒定的干扰条纹对应于频谱中的某些特征点
（7）从频域规范产生空域模板：用空域模板来模拟一个给定频域滤波器的方法。
14.图像压缩
（1）基本概念：数据与信息的理解，数据的冗余与相关，保真度准则。
（2）图像压缩模型：图像压缩系统的一般构成，信源编码与解码模型。
（3）图像压缩中的信息论观点：图像压缩中的问题，信息的测量，信源的模型化，最大离散熵定理，离散无记忆信源的编码。
（4）图像压缩编码的基本方法
（5）无损压缩：熵编码（香浓-范诺编码，霍夫曼编码，算术编码），基于字典的压缩（RLE编码-形成编码、LZW编码）
（6）有损压缩：预测编码（DPCM编码、DM编码、最佳预测与最优预测编码），变换编码，实现变换压缩算法的主要问题，DCT变换编码，小波变换编码
（7）图像压缩标准：静止图像编码标准，连续帧图像编码标准。
15.图像复原
（1）基本概念：图像复原的目的，与图像增强的区别，图像复原的基本要点，引起图像质量下降的客观因素，图像退化与复原模型。
（2）噪声单独干扰下的图像滤波复原：噪声模型及参数估计，空间滤波设计，自适应空间滤波器，周期性干扰频域滤波器设计。
（3）系统退化复原：线性系统退还函数的估计，逆滤波（反卷积）复原方法，最小均方误差滤波（维纳滤波），约束最小二乘方滤波器。
（4）匀速运动模糊图像的复原：运动模糊图像模型，水平方向匀速直线运动。
16.图像重建
（1）图像重建基本概念与基本原理：图像重建目标（有特定数据形成图像），投影（图像重建的数据基础：三种投影模型（透射、放射、反射），投影理论（Radon变换），图像重建基本思想。
（2）图像重建基本算法：代数重建方法，傅里叶变换重建方法，卷积反投影重建。
17.图像分析
（1）图像分析基本概念：图像分析基本目标、分析的任务
（2）图像分析主要研究内同：
a，从图像中找到感兴趣的目标：图像分割、图像特征及其提取
b，目标的有效表示：形状分析，表示与描述
c，目标的是被：模式识别
（3）数字图像处理与分析系统基本框架：
在这里插入图片描述
（4）图像分割：
a，边界分割法：点、线与边的检测
b，边缘连接法：局部连接处理、Hough变换
c，阈值分割法：通过交互方式得到阈值，通过直方图得到阈值，通过边界特性选择阈值，简单全局阈值分割，分割连通区域，基于多个变量的阈值
d，面向区域的分割：5项基本条件、通过像素集合的区域增长，区域分裂与合并
（5）数学形态学图像处理
a，基本概念：

形态学：从图像出发，研究数字图像中物体目标的结构及拓扑关系
结构元素：任意大小，包含任意0、1组合的一个区域。在结构元素上可任意指定一点作为远点
形态学图像处理：结构元素与图像进行逻辑运算，产生新的图像的图像处理方式
结构元素与图像的作用：类似于卷积，但用逻辑运算代替乘加运算。逻辑运算的结果保存在输出图像对应点的位置
形态学处理的效果取决于：结构单元的大小，内容，逻辑运算的形式
b、基本运算：腐蚀与膨胀，开—闭运算，变体，各类运算的性质，对图像的作用
c，形态学图像处理应用：滤波、边界提取
d，灰度图像的形态学处理：理解方式、处理策略、特征
（6）图像的纹理分析：
a，基本概念：图像纹理基本特征，纹理的组成要素，确定性纹理，随机性纹理，纹理的描述与研究方法。
b，统计纹理分析：纹理分析的直方图统计方法，纹理分析的自相关函数方法，傅里叶变换纹理分析，环特征和楔特征。主要研究图像有关属性的统计规律，基于区域直方图，概念分布，变换域特征等。
c，结构纹理分析：着力找出可描述的纹理基元（如边缘）及其属性（如走向），以及相应的妓院排列组合规则，从而从结构上探索纹理的规律，对纹理图像做出分析，解释。
d，频谱纹理分析：在傅里叶变换汇总分析能量的分布情况。
d，图像纹理分析的应用领域
（7）图像的表示与描述
基本概念：形式化表达的两种选择（外部特征，内部特征），表达方式的选择。
表示法设计：链码，多边形逼近，外形特征，边界分段，区域骨架抽取。
边界描述子：简单描述子，傅里叶描述子，矩量
关系描述子：阶梯关系编码，骨架关系编码，方向关系编码，内角关系编码，树结构关系编码。
17.模式识别的理论与方法
（1）
决策理论是图像识别的理论基础
特征和分类是图像识别的关键
图像识别的基本方法
统计模式识别方法基本概念
句法结构模式识别方法基本概念
模式识别的基本流程
（2）模式与模式类：模式的定义，模式类的定义，模式识别的定义，常用的模式序列（模式向量，模式串，模式树）
（3）统计模式识别（决策论法）：最小距离分类器，相关匹配，贝叶斯分析，特征的抽取与选择
（4）句法结构模式识别（结构法）：匹配形状数，串匹配。
18.三维图像处理与分析导论
（1）三维图像处理与分析基本概念：任务的定义与理解，三维图像处理面临的难题与主要问题，与二维图像处理的显著区别
（2）三维场景距离信息的获取：三维成像模型，人眼立体成像的几何特征，平行光轴立体成像系统，立体成像系统本质矩阵，立体成像系统基本矩阵
（3）运动图像序列分析：运动图像系列特征，运动图像系列分析面临的主要问题，运动域概念，光流概念，光流计算与估计。