-
第6章 支持向量机
-
6.1 间隔与支持向量
-
分类学习最基本的想法就是基于训练、集 D 在样本空间中找到一个划分超平面、将不同类别的样本分开 [P120]
-
-
[P120]其中 w = (w1;w2，…，wd) 为法向量，决定了超平面的方向; b为位移项，决定了超平面与原点之间的距离.
-
[P121]样本空间中任意点x到超平面(w, b)的距离
-
距离超平面最近的这几个训练样本点使式{wx + b >= +1或wx + b <= -1}的等号成立，它们被称为 “支持向量”(support vector) ，两个异类支持向量到超平面的距离之和为r=2/||w|| , 它被称为 “间隔” (margin). [P121]
-
[P121] -
欲找到具有"最大|闯陆" (maximum margin) 的划分超平面，也就是要找到能满足式 (6.3) 中约束的参数 w 和 b ， 使得 γ 最大 [P121]
-
[P122]
-
-
6.2 对偶问题
-
注意到SVM的基本型本身是一个凸二次规划 (convex quadratic programming) 问题，能直接用现成的优化计算包求解，但我们可以有更高效的办法. [P122]
-
使用拉格朗日乘子法可得到其"对偶问题" (dual problem). [P122]
数学证明略过
-
-
6.3 核函数
-
在现实任务中，原始样本空间内 也许并不存在一个能正确划分两类样本的超平面 [P125]
-
例如 在图 6 . 3 中 3 若将原始的二维空 间 映射到一个合适的三维空间 ，就能找到一个合适的划分超平面 . 幸运的是，如果原始空 间 是有限维 ， 即属性数有限?那么 一定存在一个高维特征空间使样本可分 [P125]
-
[P125] -
[P125] -
[P127]
-
-
6.4 软间隔与正则化
-
在现实任务中往往很难确定合适的核函数使得训练样本在特征空 间 中线性可分;退一步说 ，即使恰好找到了 某个核函数使训练集在特征空 间中 线性可分?也很难断定这个貌似线性可分的结果不是由于过拟合所造成的 . [P128]
-
缓解该 问题的一个办法是允许支持向 量机在一些样本上出错.为此，要引入"软间隔" (80ft margin) 的概念， 如图 6.4所示 [P128]
-
[P128] -
[P129] -
L0/1非凸、非连续，数学性质不太好，使得式 (6.29)不易直接求解.于是，人们通常用其他一些函数来代替L0/1， 称为"替代损失" (surrogate loss). [P129]
-
[P129] -
[P130]
-
-
6.5 支持向量回归
-
6.6 核方法
-
6.7 阅读材料
-
