一、深度学习介绍
1.深度学习的步骤
? ?神经网络
? ?模型评估
? ?选择最优函数
2.完全连接前馈神经网络
? 特征：信号流是完全单向的
? ?运算量大了以后===>矩阵运算
计算：将隐藏层的输出当作输入，通过特征提取替代原来的特征方程，一层一层嵌套，最后通过一个多分类器得到输出
模型评估：神经网络===>特征值
Total loss：越小越好，所有训练集的损失总和
我们需要做的是：
? ?1>.在function set中寻找最优的function
? ?2>.在神经网络的参数中，找到最优的参数
使Total loss最小
选择最优函数：梯度下降
? ?由初始值计算梯度，不断更新梯度，得到新的参数值，并使L最小
反向传播：神经网络中计算损失最好的方法，如TensorFlow、theano、Pytorch等框架
二、反向传播
? loss function：定义在单个训练样本上的，是一个样本的训练误差
? cost function：定义在整个训练集上的，是所有样本误差总和的平均
? total? loss function：定义在整个训练集上的，是所有样本误差的总和，也是我们在反响传播中需? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 要最小化的值
?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?参考李宏毅深度学习笔记?
?