机器学习的分类
根据训练数据是否有标记信息可分为监督学习和无监督学习
科学推理
归纳和演绎
评估方法
留出法
定义：直接将数据集D划分为两个互斥的集合。其中一个集合作为训练集，一个作为测试集。
常见做法是2/3-4/5的样本用于训练，剩余样本用于测试。
交叉验证法
定义：先将数据D划分为K个大小相似的互斥子集，每个子集Di尽量可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集。
因此交叉验证的评估结果的稳定性和保真性在很大程度上取决于k的取值
过程如图片所示：
自助法
定义：他直接以自助采样法为基础，给定包含m个样本的数据集D，我们对他采样产生数据集D’：每次随机从D中挑选一个样本，将其拷贝放入D’，然后再将此样本放回D。使这个过程重复执行m次。我们就得到了包含m个数据样本的D’，因为总是有放回，所以注定有些样本从未被选中，于是就以D‘作为训练集，D作为测试集。
调参与最终模型
性能度量
回归任务常用均方误差