一、神经网络
?（1）深度学习是什么
? ? ? ?深度学习（Deep learning）是实现及其学习算法的技术，机器学习（Macine learning）是实现人工智能的方法。
?（2）?神经元——最小的神经网络
神经元->激活函数sigmoid->二分类逻辑斯蒂回归模型
多输出神经元->softmax->多分类逻辑斯蒂回归模型
目标函数：衡量对数据的拟合程度。有平方差损失和交叉熵损失。其中交叉熵损失更适合多分类.
Tensorlow声明式编程和命令式编程的区别和联系以及各自优缺点：
（3）神经网络训练的优化?
缺点：①每次都在整个数据集上计算Loss和梯度，计算量大，并且可能内存承载不住
? ? ? ? ? ?②梯度方向确定的时候，仍然是每次都走一个单位长度，速度太慢
优化：①随机梯度下降，每次只使用一个样本
? ? ? ? ? ?②Mini-Batch梯度下降，每次只使用一小部分数据进行训练，梯度下降存在震荡问题，存在局部值和saddle point问题。
动量梯度下降SGD：
? ? ? ?开始训练时，积累动量，加速训练。相同方向的向量可以叠加
? ? ? ①局部极值附近震荡时，梯度为0，但是由于积累的动量，可以跳出陷阱。
? ? ? ②梯度方向改变时，缓解动荡。
二、卷积神经网络
（1）神经网络遇到的问题
1.参数过多
? ? ①容易过拟合，需要更多的训练数据
? ? ②收敛训练到较差的局部极值
? ? 解决办法：
? ? ①局部连接（图像的区域性）
? ? ②参数共享（特征与位置无关）
其余较为简单基本概念不再做解释，以下为本人对多通道的学习笔记，有问题望指点。
（2）什么是通道channels
?如上图，输入为32*32大小的图片，有通道3个，有filter即卷积核6个，每个卷积核3通道。
一个卷积核的通道数与它进行卷积的输入必须是相同，例如上图中输入图像3通道，过滤器filter也是3通道。
有几个卷积核，卷积核的深度就是多少。
具体可以学习文章https://blog.csdn.net/qq_35437792/article/details/121023998
（3）激活函数
激活函数具有单调性，是非线性函数?。
如果使用线性函数，一个很深的网络也相当于一个单层神经网络。
其中Relu在卷积神经网络中常用。例如图片右侧距离，将所有负数都变为0，所有正数都不变。
(4)池化——最大值池化
池化是计算量及精度之间的交换
性质：
①常使用不重叠、不补零，多的数据就会直接丢掉。（区别于前面padding使输出size不变即和输入一样大）
②没有用于求导的函数
③池化参数为步长和池化核大小（一般默认步长和池化核大小一样就可以防止重叠）
④用于减少图像尺寸，从而减少计算量（池化的目标及作用）
⑤一定程度上解决平移鲁棒
⑥损失了空间位置精度
（5）全连接层——将上一层输出展开并连接到每一个神经元上
注意，展开之后的是一维，其后可以再添加全连接层但是不能添加池化层和卷积层。
性质：
①即普通神经网络层
②相比卷积层，参数数目较大
③参数数目 = Ci*C0，分别为输入/输出通道数目
总的来说一句话：卷积神经网络 = 卷积层+池化层+全连接层
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?全卷积神经网络 = 卷积层+池化层