[人工智能]周志华《机器学习》笔记（五）——第5章 神经网络

1、正向传播（预测）

2、反向传播（训练）

3、问题与技巧

（1）局部最优问题：训练多个神经网络，取最优；模拟退火；随机梯度下降；遗传算法

（2）过拟合问题：早停、正则化

（3）优化器：各种主流凸优化方法的归纳与总结。
https://blog.csdn.net/google19890102/article/details/69942970.
https://zhuanlan.zhihu.com/p/47453144.

（4）激活函数：增加神经网络的非线性分割能力。

（5） 深度学习：基于深度神经网络的机器学习方法。

（6）“层数多收敛慢”问题：预训练+微调；权值共享（CNN）。