人工智能、机器学习、深度学习的关系
机器学习
机器学习是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，使之不断改善自身的性能。
机器学习的实现
- 归纳：X→Y
- 演绎：X→Y→Y*
机器学习的方法论
确定模型参数
模型有效的基本条件是能够你和已知的样本。
损失函数（损失loss）；衡量模型预测值和真实值差距的评价函数。
优化算法：实现损失最小化的方法称为优化算法，也成为寻解算法（找到使得损失函数嘴笑的参数解）。
构成模型的三个部分：模型假设、评价函数（损失、优化目标）和优化算法。
- 模型假设：世界上的可能关系千千万，漫无目标的试探Y~Y之间的关系显然是十分低效的。因此假设空间线圈定了一个模型能够表达的关系可能，如蓝色圆圈所示。即期还会进一步在假设圈定的圆圈内寻找最优的X ~ Y 关系，即确定参数W。
- 评价函数：寻找最优之前，我们需要先定义什么是最优，即评价一个Y~X 关系的好坏的指标。通常衡量该关系是否能很好地你和现有观测样本，将你喝的误差最小作为优化目标。
- 优化算法：设置了评价指标后，就可以在假设圈定的范围内，将使得评价指标最优（损失函数最小/最你和已有观测样本）的Y~X关系找出来，这个寻找的方法即为最优算法。最笨的优化算法即按照参数的可能，穷举每一个可能取值来计算损失函数，保留使得损失函数最小的参数作为最终结果。
学习的本质是参数估计，机器学习的目的就是让假设g更加逼近期望目标f。
深度学习
相比于传统的机器学习算法，深度学习做出了哪些改进呢？
其实两者在理论结构上是一致的，即：模型假设、评价函数和优化算法，其根本差别在于假设的复杂度。
神经网络的基本概念
人工神经网络包括多个神经网络层、如卷积层、全连接层、LSTM等，每一层又包含很多神经元，超过三层的非线性神经网络都可以被称为深度神经网络。
-
神经元：神经网络中每个节点成为神经元，由两部分组成。
- 加权和：将所有输入加权求和
- 非线性变化（激活函数）：加权和的结果经过一个非线性函数变换，让神经元计算具备非线性的能力。
-
多层连接：大量这样的节点按照不同的层次排布，形成多层的结构连接起来，即称为神经网络。
-
前向计算：从输入计算输出的过程，顺序从网络前至后。
-
计算图：以图像化的方式展现神经网络的计算逻辑又称为计算图。我们也可以将神经网络的计算图以公式的方式表达：如下
