本次是阅读西瓜书第六章，以下为笔者是在阅读第六章支持向量机时一些之前不曾关注地方的补充。
1.从三要素看待支持向量机：
①模型：支持向量机（SVM）本质上是基于距离的划分方法，对样本进行分类。
②策略：寻找合适的超平面以最近支持向量的最大距离作为目标进行求解。（约束条件为所有其他样本点均小于寻找到的支持向量带来的最小距离）
③算法：通过拉格朗日乘子法将其转化为对偶问题，而后发现其对偶问题恰好为二次规划问题，采用二次规划问题的手段进行求解。（如SMO）
2.解决支持向量机问题转化为求其对偶问题的三种思路：
①直接考虑将合并为
，在判断对偶问题为凸函数后直接求一阶导，然后带回即为最小值。
②利用拉格朗日函数中关于下确界的性质进行求解。
③正常分别求偏导而后代入。
3.采用拉格朗日对偶求解的优势：
①主问题无论为何种优化问题，其对偶问题均为凸优化问题，更好利用凸优化的性质（虽然SVM本身也是凸优化问题，这个理由有点牵强，主要是后面两点）
②原问题的复杂度正比于特征维数，而对偶问题正比于数据量
，在特征维数远大于数据量时计算更加便捷。
③最主要的是，在对偶问题中能很自然的引入核函数，进而将其推广至非线性的分类问题。
4.核函数：如果原始空间是有限维，即属性数目有限，那么一定存在一个高维特征空间使样本可分。而映射到高维空间后，当中高维空间的内积运算过于复杂，通过引入核函数来获得运算上的便利。（文本数据一般采用线性核，情况不明时可先尝试高斯核）
5.软间隔：可在几何意义上简单理解为不是严格分类，而是允许一定程度上的越界，那么引入松弛变量就是自然而然的事情了。
6.带软间隔的SVM可以写为更加一般的形式：结构风险+经验风险。其中结构风险部分代表了我们希望采用何种性质的模型，而经验风险代表了我们容忍何种程度上的犯错（太大不准，太小过拟合）。有意思的地方在于前面的结构风险的部分恰好是L2范数的形式，有效起到了正则化（让函数不要无限膨胀下去）的作用，L2范数的作用为让分量取值尽可能均衡，即非零分量个数尽可能稠密，这与支持向量机最原本的几何意义是不谋而合的。
关于正则化的补充：L1范数（）倾向于让分量尽可能稀疏，即非零分量尽可能少。
这样有啥用呢？可以在一定程度上防止过拟合，可以简单理解为减少了分量学的东西少了就少拟合一点。
为啥这样就可以防止过拟合？能获得稀疏解的原因在于其特殊形状，它的尖峰恰好位于稀疏点，使用它接触解决方案的表面很可能在尖端找到接触点从而形成接触方案。
（关于详细解释，私以为这个答案是目前看到最全面且简单易懂的，想了解更多可以看这个：https://vimsky.com/article/3852.html）
7.SVM与对数几率回归比较：
①对数几率回归优势在于：具有自然的概率意义（即给出预测标记的同时也给出了概率），同时可以直接用于多分类任务。
②SVM的解具有稀疏性，而前者是光滑的单调递减函数，不能导出类似支持向量的概念。同时前者更依赖于样本，预测开销更高。
8.SVR支持向量回归形式上保持了SVM的解决方式，这样的优势在于保留了正则化项，控制了过拟合，同时通过保持形式上的一致有利于使用对偶引入核函数。