深度学习笔记——基础介绍 & Regression
0.0 写在前面
标注学习笔记的系列文章均为看完课程和资料之后的输出，输出是为了更好的输入，如有问题，欢迎批评、指正。
一、一些名词解释（持续更新）
- Machine Learning：机器学习
- Deep Learning ：深度学习
- Error Surface：误差曲面
- Parameters ：参数/模型参数
模型通过学习得到的参数，如权重和偏置
- Hyperparameters：超参数/算法参数
根据经验进行设定，影响到权重和偏置的大小，比如迭代次数、隐藏层的层数、每层神经元的个数、学习速率
- Optimization：最佳化
- Gradient Descent：梯度下降
- Local minima ：局部最小值（相对全局最小值）
- saddle point ：鞍点（值沿一方向稳定，一方向不稳定的点）
二、机器学习介绍
1、机器学习相关技术
机器学习，即让机器具备找函式的能力。
- 红色：task，要解决的问题
- 绿色：model，不同task里有不同的model
- 蓝色：学习的场景（有监督、无监督、半监督等）
- 监督学习：需要大量的Training data，通过训练数据找到function和input以及output之间的关系
监督学习和强化学习的区别：监督学习会告诉机器正确答案是什么；reinforcement learning不会告诉机器正确的答案是什么，机器所拥有的只有一个分数，就是他做的好还是不好。
- Regression 回归：函数的output是数字（scalar），可以选择线性模型，或者非线性模型，例如深度学习。输出是数字。
- Classification 分类: 给定类别选项，函数输出正确选项。Give option(classes),the function outputs the correct one.单选或者多选。输出是类别。
- Structured Learning 结构化学习：产生有结构的东西。create something with structure(image,document)。输出是结构化的内容，例如一首诗，一个句子，一个序列等。
2、如何确定函式
机器学习找函式的过程可以飞为三个步骤
模型假设→模型评估→模型优化
例：线性模型→损失函数→梯度下降
（1）Function with unknown Parameters
预测我们要找的函式F数学式的样子，例如y=w*x+b。y是预测的值，w和b是待定的参数，要通过已知的资料找出来。
（2）Define loss from Training data
定义一个Loss函数，以评估model的优劣。Loss函数的输入是w，b，输出是L。Loss：How good a set of value is. 它的值也是通过训练资料来计算，通过Loss函数我们可以对比所确定的函式预估结果 VS 真正的结果 得到两者间的差距有多大。L越大，代表这组参数越不好；L越小，代表这组参数越好。
loss常用的评估方式有：
- MAE 平均绝对误差
- MSE 均方差
- cross-Entropy 交叉熵
（3）optimization 优化
对误差函数进行优化，找到使得误差函数最小的参数集。
常用的优化方法是Gradient Descent（梯度下降），步骤为：
3、Optimization过程可能遇到的问题
- 当前最优（Stuck at local minima），非全局最优
- 等于0（Stuck at saddle point）
- 趋近于0（Very slow at the plateau）