超级参数：手动输入的产生。
曼哈顿距离 是绝对值
欧氏距离 平方
损失值： 当前的权重，拟合是好还是不好，损失值越低越好，拟合越逼。
梯度下降：
从山上往下下降，沿着下降速度最陡峭的方向下降。
梯度方向：是当前值上升的方向的反方向。 负导数。
步长：太大，容易错过最低点。错过最优解。
太小，时长太长。
bachsize 批处理
一次传进来一张图像，更新参数，图像本身可能有问题，噪音，标注问题等。
1张图像数据传进来，未必会导致参数朝正确的方向更新。
bachsize 一次传进来一批数据，通过计算其平均更新方向，然后再去更新数据。这样更确保参数朝着正确的方向更新。
学习率：
学习率 通常需要调节的低一些
高学习率 会导致 不收敛
学习率偏低一些，尽管速度慢，但是会照着loss下降的方向
刚开始 学习率 偏大一些 ，随着迭代次数的增加，缩小学习率。
epoch 值 5w个数据 1次批处理100 epoch需要500次。
外循环 epoch
内循环batch size
神经网络分为三部分： 前向传播 反向传播 参数更新
链式法则
从后往前，一步一步去做求导
反向传播，遵循链式法则，层层求导
绿色是正向传播
红色是反向传播
神经网络：
X和W组合 算 得分值，和 实际值 做差 算 损失值，加上R 对权重参数惩罚，得到最后的损失函数，反向传播更新参数。
神经网络特点：
第一个特点：层次结构
输入层 小猫图像
隐藏层 猫的特征：眼睛，耳朵，爪子等 提取特征
输出层
神经网络会进行特征的自动提取。直接拿取原始的数据
特征工程： 针对数据，进行特征提取。
3 4 4 1
3个到4个，通过权重参数矩阵，进行转换。
4为中间隐藏的特征。
全链接层，将输入转换成特征。
第二个隐藏层又进行了下一步的特征提取。
第二个特点： 非线性
通过激活函数进行
中间神经元 是 特征提取 可以进行 维度的变换
中间神经元 是 1的时候，相当于 1组 权重参数 1个特征
中间神经元 是 2的时候，相当于 2组 权重参数 2个特征
中间神经元 是 3的时候，相当于 3组 权重参数 3个特征
针对非常难分割的数据，提升 中间隐藏层个数就 可以分割开
提升空间维度，每个维度上的映射不一样，把这个系统在高纬度空间就可展开了
神经网络缺点： 容易过拟合，缺乏泛化性。
过拟合：
最左边的图，就是过拟合，为了满足个别离群点，异常点，从而改变了分割结果。
模型越平稳，越好，泛化能力强。
增加 惩罚权重参数。
栏目大 调大栏目大值 增大惩罚项。
越多的神经元 过拟合的风险越高。
激活函数：
Sigmoid函数
中间 出现 某层 导函数 为 0，后面传递就废了，全都为0了。
无法满足神经网络的需求。
ReLU激活函数
梯度不会消失
计算简单
数据预处理：
原始数据 进行 中心化处理 通过减去 均值
归一化 除以 标准差
sklearn专门库 在处理数据不大情况下，足够了。
权重系数，初始化————高斯初始化
drop_out: 防止神经网络过拟合 的操作措施
训练的时候，使用部分神经元，测试的时候，使用全部神经元。
图中打叉神经元就不更新了，不进行反向传播和参数更新了。
drop_out是随机选择神经元保存。比如：每一层保存60%的神经元，剩余不更新。
目的是防止过拟合。
