?问题：对矩阵范数以及矩阵求导的理解比较迷糊
一，深度学习是什么，怎么做，分为几类？?
1，机器学习定义? ? ?
最常用的定义 “计算机系统能够利用经验提高自身的性能”
可操作定义? “机器学习本质是一个基于经验数据的函数估计问题”
统计学定义 “提取重要模式、趋势，并理解数据，即从数据中学习”
?2，机器学习如何进行学习? ?模型：对要学习问题映射的假设（问题建模，确定假设空间）
?策略：从假设空间中学习、选择最优模型的标准（确定目标函数）
算法：根据目标函数求解最优模型的具体计算方法（求解模型参数）
3，根据其样本是否标记分为监督学习与无监督学习，半监督学习
监督学习：样本具有标记，从数据中学习标记分界面
非监督学习：样本没有标记，从数据中学习模式，适用于描述数据
半监督学习：部分数据标记已知，监督学习和无监督学习的混合
强化学习：数据标记未知，但是知道与输出目标相关的反馈，使用决策类问题
4，根据其数据分布，分为参数模型与无参数模型
参数模型：对数据分布进行假设，待求解的数据模式、映射可以用一?组有限且固定的参数进行刻画
非参数模型：不对数据分布进行假设，数据的所有统计特性都来源于?数据本身
5，根据建模对象分为判别模型与生成模型
判别模型：对已知输入X条件下输出Y的条件分布P(Y\X)建模
生成模型：对输入X和输出Y 的联合分布P(Y\X)建模
二，深度学习的操作过程变迁
?1，前深度学习时代：花几天时间收集图片并标注，并绞尽脑汁设计或选择一些特征，之后用某种分类器训练和测试，结果不好继续回滚找特征。
2，深度学习时代：花几个周时间收集并标注几万张图片，花一个星期，挑几个深度模型，选几组模型超参数，之后交给机器绞尽脑汁优化模型中数千万/数以亿计的权重参数
3，后深度学习时代：我们期待花几分钟时间收集并标注几张图片，交给机器绞尽脑汁的完成任务
三，深度学习的不能与解释性
1,稳定性差，可调式性差，期待解释性为找得到，知道哪些特征对输出有重要影响，出了问题快速纠错
2，参数不透明，机器偏见，期待解释性为看得懂，算法能够被人的知识体系理解+利用和解和人类知识
3，增量型差，推理能力差，解释性为留的下，知识得到有效的存储、累计和服用，从而越学越聪明
四，深度学习的发展历程
1，仿照生物神经元的m-p神经元
? ? ? ? ? ? ? ? ? ? ? ?
2，单层感知器，单层感知器只能实现基础的与或非等
其中激活函式的作用是建立非线性，如果没有激活函数只能算是矩阵相乘，多层跟一层就没有区别了，只能拟合线性函数。激活函数有S性函数（sigmoid），双极S性函数（tanh），ReLU修正线性单元，Leaky ReLU等等。
?3，多层感知器：可以实现较复杂的逻辑比如同或门
?4，万有逼近定理
?5，神经网络中每一层的作用
?
?6，神经网络是更深还是更宽的好？更深深度和宽度对函数复杂度的贡献是不同的，深度的贡献是指数级增长的，而宽度的贡献是线性的。
7，深度网络的参数学习方法为：误差反向传播，通过梯度下降实现。
?
?8，深层神经网络的问题：梯度消失，容易陷入局部极值，难以训练
?9，因此导致的人工智能的”第二落“
8，而人工智能的‘第三起’也正是因为梯度消失问题解决方法逐层与训练的出现，包括受限玻尔兹曼机和自编码器。
?
?
五，感想
李沐老师的课真是保姆级别的，0基础也可以很轻松的跟上节奏，就是后边关于线性代数的内容有一些只是跟着老师过了一遍，印象不是很深刻。还需要自己动手推导一下。
专知＋李沐的组合挺完美的，只是第一周就感觉收获满满，对深度学习框架有了一个基础的了解。