[人工智能]机器学习进阶-支持向量机

支持向量机

图像不用人工提取特征了，可以不需要使用支持向量机，不过其他领域使用也很多

线性可分支持向量机，线性支持向量机，非线性支持向量机（增加核函数）

可以进行多分类

SVM可以用线性核核高斯核进行分类

支撑住分割线的向量?

计算点到直线距离 将距离作为指标? ?分割线离样本的最近距离取最大

线性可分SVM? ? 线性SVM可能样本在分割面上

线性支持向量机 不一定分类完全正确的超平面就是最好的 样本数据本身线性不可分

可以舍弃某个样本? 过渡带越宽，泛化能力越好，防止过拟合

若数据线性不可分，则增加松弛因子，使函数间隔加上松弛变量大于等于1，

惩罚因子C，惩罚因子大了接近线性可分SVM，C越小过渡带越宽，损失掉一些样本，每个损失样本有损失值，损失样本到过渡带边界的距离为损失值。损失样本没有分错，但样本在过渡带内就有损失

损失值定义损失函数，形成Hinge损失

SVM损失函数可看做 Hinge损失+L2正则

非线性支持向量机

核函数 将原始输入空间映射到新的特征空间，从而使得原本线性不可分的样本可能在核空间可分

多项式核函数、高斯核RBF函数、sIGmoid核函数? 在实际应用中往往以来先验知识交叉验证等方案才能选择有效的核函数，没有更多先验信息则使用高斯核函数。

高维空间运用SVM 高斯核函数

高斯核是无穷维的? ?映射到无穷维? 用泰勒展开式来解释

稀疏模型

SVM可以做多分类 时间复杂度比较高比较麻烦

SVM? 随机森林 Logistic回归（训练速度快，泛化能力较弱）