第一章 统计学习及监督学习概论
1.1、统计学习
统计学习分为：
监督学习、无监督学习、半监督学习、强化学习
1.1.1 统计学习方法如下:
A.从给定的、有限的、用于学习的训练数据（training set）集合出发
B.假设数据是独立同分布产生的
独立同分布( independent and identically distributed , ii.d. )在概率统计理论中,指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。
如果随机变量X1和X2独立，是指X1的取值不影响X2的取值，X2的取值也不影响X1的取值且随机变量X1和X2服从同一分布，这意味着X1和X2具有相同的分布形状
和相同的分布参数，对离随机变量具有相同的分布律，对连续随机变量具有相同的概率密度函数，有着相同的分布函数,相同的期望、方差。
C.假设要学习的模型属于某个函数的集合，称为假设空间
D.应用某个评价准则，从假设空间中选取一一个最优的模型;这个模型使它对已知训练数据及未知测试数据( testing set)在给定的评价准则下有最优的预测
E.最优模型的选取由算法实现
1.1.2、统计学习方法的步骤:
（1）得到-个有限的训练数据集合;
（2）确定包含所有可能的模型假设空间，即学习模型的集合;
（3）确定模型选择的准则，即学习的策略;
（4）实现求解最优模型的算法，即学习的算法
（5）通过学习方法选择最优模型;
（6）利用学习的最优模型对新数据进行预测或者分析
1.2 统计学习的分类
基本分类：
统计学习或者机器学习一般包括监督学习、无监督学习、强化要习。有时还包括半监督学习、主动学习。
1.2.1 监督学习
输入空间：将输入所有可能取值的集合称为输入空间
输出空间：将输出所有可能取值的集合称为输出空间，通常输出空间远远小于输入空间
特征空间:每个具体的输入是一个实例，通常由特征向量表示。
联合概率分布:
假设空间: 概率模型和非概率模型
问题形式化:
|