15.1 基本概念
机器学习中的规则通常是指语义明确、能描述数据分布所隐含的客观规律或邻域概念、可写成“若…,则…”形式的逻辑规则。规则学习是从训练数据中学习出一组能用于对未见示例进行判别的规则。
与神经网络、支持向量机这样的黑箱模型相比，规则学习具有更好的可解释性，能使用户更直观地对判别过程有所了解。另一方面，数理逻辑具有极强地表达能力，绝大多数人类知识都能通过数理逻辑进行简洁的刻画和表达。因此，规则学习能更自然地在学习过程中引入邻域知识。此外，逻辑规则地抽象描述能力在处理一些高度复杂地AI任务时具有显著地优势。
假定我们从西瓜数据集学得规则集R:
规则1的长度为2，它通过判断两个逻辑文字的赋值来对示例进行判别。符合该规则的样本称为被该规则覆盖。
显然，规则集合中的每条规则都可看作一个子模型，规则集合是这些子模型的一个集成。当同一个示例被判别结果不同的多条规则覆盖时，称发生了冲突，解决冲突的办法称为冲突消解。
常见的冲突消解策略有投票法、排序法、元规则法等。
投票法是将判别相同的规则数最多的结果作为最终结果。
排序法是在规则集合上定义一个顺序，在发生冲突时使用排序最前的规则。
相应的规则学习过程称为带序规则学习或优先级规则学习。
元规则法是根据邻域知识事先设定一些元规则，即关于规则的规则，例如发生冲突时使用长度最小的规则，然后根据元规则的指导来使用规则集。
此外，规则学习算法通常会设置一条默认规则，由它来处理规则集合未覆盖的样本；
从形式语言表达能力而言，规则可分为两类：“命题规则”和“一阶规则”。前者是由“原子命题”和逻辑连接词与或非蕴含构成的简单陈述句。
后者的基本成分是能描述事物的属性或关系的原子公式，例如表达父子关系的谓词 父亲（X,Y)。一阶规则能表达复杂的关系，因此也被称为关系型规则。
15.2 序贯覆盖
规则学习的目的是产生一个能覆盖尽可能多的样例的规则集。最直接的做法是序贯覆盖，即逐条归纳：在训练集上每学到一条规则，就将该规则的覆盖的训练样例去除，然后以剩下的训练样例组成训练集重复上述过程。由于每次只处理一部分数据，因此也被称为分治策略。
一般的做法是从空规则开始，将正例类别作为规则头，再逐个遍历训练集中的每个属性及取值，尝试将其作为逻辑文字增加到规则体中，若能使当前规则体仅覆盖正例，则由此产生一条规则，然后去除已被覆盖的正例并基于剩余样本尝试生成下一条规则。 这种基于穷尽搜索的做法在属性和候选值较多时会由于组合爆炸而不可行。
现实任务中一般有两种策略来产生规则：
第一种是自顶向下：即从比较一般的规则开始，逐渐添加新文字以缩小规则覆盖范围，直到满足预定条件为止；亦称为“生成-测试”法，是规则逐渐特化的过程。
第二种是自底向上：即从比较特殊的规则开始，逐渐删除文字以扩大规则覆盖范围，直到满足条件为止；亦称“数据驱动法”，是规则逐渐泛化的过程。
第一种策略是覆盖范围从大往小搜索规则，第二种策略则相反；前者通常更容易产生泛化性能较好的规则，而后者则更适合于训练样本较少的情形，此外，前者对噪声的鲁棒性比后者要强得多。因此，在命题规则学习中通常使用第一种策略，而第二种策略在一阶规则学习这类假设空间非常复杂的任务上使用较多。
15.3 剪枝优化
规则生成本质上是一个贪心搜索过程，需有一定的机制来缓解过拟合的风险，最常见的做法是剪枝。与决策树相似，剪枝既可以预剪枝也可以后剪枝。剪枝还可以借助统计显著性检验来进行。例如CN2算法。
后剪枝最常用的策略是减错剪枝（REP）,其基本做法是：将样例集划分为训练集和验证集，从训练集上学得规则集R后进行多轮剪枝，在每一轮穷举所有可能的剪枝操作，包括删除规则中某个文字、删除规则结尾文字、删除规则尾部多个文字、删除整条规则等，然后用验证集对剪枝产生的所有候选规则集进行评估，保留最好的那个规则集进行下一轮剪枝，如此继续，直到无法通过剪枝提高验证集上的性能为止。
REP剪枝通常很有效，但其复杂度是O(n^4)，n是训练样例数目。IREP将复杂度降到O(mlog2m)，其做法是：在生成每条规则前，先将当前样例集划分为训练集和验证集，在训练集上生成一条规则r，立即在验证集上对其进行REP剪枝，得到规则r’;将r’覆盖的样例去除，在更新后的样例集上重复上述过程。
显然，REP是针对规则集进行剪枝，而IREP仅对单条规则进行剪枝，因此后者比前者更高效。
若将剪枝机制与其他一些后处理手段结合起来对规则集进行优化，则往往能获得更好的效果。以著名的规则学习算法RIPPER为例，其泛化性能超过很多决策树算法，而且学习速度也比大多数决策树算法更快。
15.4 一阶规则学习
受限于命题逻辑表达能力，命题规则学习难以处理对象之间的关系，而关系信息在很多任务中非常重要。
一阶规则有强大的表达能力，例如它能简洁地表达递归概念，如
FOIL是著名地一阶规则学习算法，它遵循序贯覆盖框架且采用自顶向下地规则归纳策略。但由于逻辑变量的存在，FOIL在规则生成时需考虑不同的变量组合。
FOIL可大致看作命题规则学习与归纳逻辑程序设计之间的过渡，其自顶向下的规则生成过程不能支持函数和逻辑表达式嵌套，因此规则表达能力仍有不足；但它是把命题规则学习过程通过变量替换等操作直接转化为一阶规则学习，因此比一般归纳逻辑程序设计技术更高效。
15.5 归纳逻辑程序设计
归纳逻辑程序设计（ILP）在一阶规则学习中引入了函数和逻辑表达式嵌套。一方面，这使得机器学习系统具备了更为强大的表达能力;另一方面，ILP可看作用机器学习技术来解决基于背景知识的逻辑程序归纳，其学得的规则可被PROLOG等逻辑程序设计语言直接使用。
15.5.1 最小一般泛化
归纳逻辑程序设计采用自底向上的规则生成策略，直接将一个或多个正例所对应的具体事实作为初始规则，再对规则逐步进行泛化以增加其对样例的覆盖率。泛化操作可以是将规则中的常量替换为逻辑变量，也可以是删除规则体中的某个文字。
显然，这两条规则只对应了特殊的关系数据样例，难以具有泛化能力。因此，我们希望把这样的特殊规则转变为更一般的规则。为达到这个目的，最基础的技术是“最小一般泛化”（简称LGG）。
15.5.2 逆归结
在逻辑学中，演绎与归纳是人类认识世界的两种基本方式。
大致来说，演绎是从一般性规律出发来探讨具体事务，而归纳则是从个别事物出发概括出一般性规律。一般数学定理证明是演绎实践的代表，而机器学习显然是属于归纳的范畴。
来看看归结、逆归结是怎么回事。
