机器学习笔记
监督学习与无监督学习
区分两种学习的方法是观察是否带标签（label）
监督学习（一般用于做分类、回归任务）
无监督学习（一般应用于聚类任务）
泛化能力（一种形容模型对于新样本的使用情况的评价）
强泛化能力的模型能很好的适用于整个样本空间。（说人话：就是这个模型学习的特征大多数都是重要特征）
讲一下版本空间
可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，这就是版本空间！
假设偏好
归纳和演绎是科学推理的两种基本手段
归纳：从特殊到一般的“泛化”过程，从具体事实总结的一般性规律。
演绎：从一般到特殊的“特化”过程，从基础原理推演出具体情况。（就好比沙盘作战一样）
归纳偏好
这里还是讲一下奥卡姆剃刀吧！
奥卡姆剃刀：一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”
其实它本身应该认为是“如无必要，勿增实体”
奥卡姆剃刀原则主张选择与经验观察一致的最简单假设
算了，还是说人话吧！要留下有用的信息，丢掉没用的信息！
NFL（No Free Lunch）
NFL定理有一个前提：所有问题出现的机会是平等的、或所有问题同等重要
这很显然是理想情况下，同时这也会导致总误差与学习算法无关
大家一定有个疑问是公式（4）的结果看出总误差与学习算法无关，对吗？
对任意算法，当且仅当所有问题都相同，所有的问题都同等重要，学习算法与总误差才会无关！
故NFL定理告诉我们没有一个学习算法可以在任何领域总是产生最准确的学习器。