[人工智能]第一周学习：深度学习和Pytorch基础

01-绪论：

图灵测试：人类是否能独立判断出某一任务是否为机器完成，是判断机器是否具有智能的方法之一。

领域：人工智能>机器学习>深度学习

机器学习：监督学习、无监督学习、半监督学习、强化学习

模型：参数模型：对数据分布进行假设、待求解的数据模式、映射可以用一组有限且固定数目的参数进行刻画

非参数模型：不对数据分布进行假设，数据的所有统计特性都来源于数据本身

02-深度学习概述

神经网络的参数学习：误差反向传播

训练模型、复合线性多元函数，尽可能减小误差

深层神经网络的问题：梯度消失

自编码器和受限玻尔兹曼机：

结构上：

自编码器编码和解码函数不同：W1,W2

RBM共享权重矩阵w,两个偏置向量

原理上：

自编码器通过非线性变换学习特征，是确定的，特征值可以为任何实数；

RBM基于概率分布的定义，高层表示为底层特征的条件概率，输出只有两种状态，用二进制0/1表示

训练优化：

自编码器通过最损失函数L最小化重构输入数据，直接用BP优化求解

RBM基于最大似然，能量函数偏导无法直接计算，基于采样方法进行估计

生成\判别模型：

RBM对联合概率密度建模，是生成式模型；

自编码器直接对条件概率建模，是判别式模型

预训练的实际作用：

初衷用于无监督逐层预训练

无法本质上解决梯度消失等问题

新的激活函数+优化方法+更大量的标注训练数据>预训练很少使用

DNN DBN

DNN是前馈神经网络，训练方法是BP

隐层激活函数使用ReLU>改善梯度消失

输出层激活函数是softmax,目标函数是交叉熵+大量标注数据

不使用逐层预训练