1.人类的智能过程
- 由信息（information）得到推理（infer）
- 由图像（image）得到预测（prediction）
- …
2.机器学习
- 将之前用来进行推理的大脑换成算法。
- 所学课程中的算法思维方式：穷举、贪心、分治、动态规划等。
- 机器学习中的算法：在数据集上由模型训练得到，大部分时基于统计的学习方法。
- 深度学习属于机器学习的一种方法。
3.学习系统
- 基于规则的系统：例如，由程序求原函数（先构造一批知识/规则库，例如
∫
e
x
d
x
=
e
x
\int_{}^{}e^{x}dx=e^{x}
∫?exdx=ex,
∫
x
N
d
x
=
1
N
+
1
x
N
+
1
\int_{}^{}x^{N}dx=\frac{1}{N+1}x^{N+1}
∫?xNdx=N+11?xN+1、
∫
(
f
(
x
)
+
g
(
x
)
)
d
x
=
∫
f
(
x
)
d
x
+
∫
g
(
x
)
d
x
\int_{}^{}(f(x)+g(x))dx=\int_{}^{}f(x)dx+\int_{}^{}g(x)dx
∫?(f(x)+g(x))dx=∫?f(x)dx+∫?g(x)dx、三角变换等，再设计算法）。缺点：规则制定难、数量多。
- 经典机器学习方法：输入-手工特征提取-找到输入与输出之间的映射-输出。
- 表示学习：维度诅咒→解决方法：学到由高维空间降到低维空间的表示（流形Manifold）。
- 深度学习：属于表示学习，也叫end-to-end的训练过程。
4.传统机器学习策略
5.SVM受到的挑战
- 手工提取特征的限制
- 在大数据集上效果不好
- 越来越多应用需要处理无结构数据：图像、文本、声音等
6.神经网络
- 最早来源于神经科学。
- 现在的神经网络来源于数学和工程学。
- 反向传播：实质是求偏导数，核心是计算图（先正向计算（前馈）。
- 最早的深度学习模型：LeNet5（1998年）。
|
