[人工智能]数据挖掘学习笔记5-支持向量机SVM

支持向量机主要原理是在分类器可以将两类样本分开的基础上，通过最大化两类样本之间的间隔来选取分类器。距离算法如下

对于线性有重叠的样本，可采用软间隔，即放宽y（wx+b）≥1的条件，增加一个宽限值，使一些重叠样本也能被分类器分开。

对于线性不可分问题，SVM会先将样本输入映射到一个高维特征空间，一般来说维数越高能找到一个线性决策面的几率越大，而SVM精妙地选取了一个高维特征空间，使得高维的內积运算恰好等于低纬的內积运算的平方（或其他），这样既提升了样本的维度，又没有使运算变得特别复杂，这一类方法叫做核方法（K（Xi，Xj））。

VC Dimension：
模型的可分点（复杂程度）越多，测试误差比训练误差大的边界会越大（风险越大），因此尽量选用简单的模型
推荐阅读文献及更多资源：