[人工智能]ML SVM/公式推导

硬间隔(Hard-Margin)

图示

介绍

• 上图所示，正样本为实心圆点，负样本为空心圆点。正负样本特征为$x_i,x_i\in {\mathbb{R}}^d$，正负样本的类别（标签）是1或-1，即 y i ∈ { 1 , ? 1 } y_i\in \{1,-1\} yi?∈{1,?1}
• H:$\text{w}.\text{x}+b=0$，二分类问题的边界
• H1：$\text{w}.\text{x}+b=1$，平行于H
• H2：$\text{w}.\text{x}+b=?1$，平行于H
• H1和H2能够无误地把样本点划分开来
• Margin（间距）：H1和H2的距离
• 正样本：位于H1左侧的样本，包括H1上的样本
• 负样本：位于H2右侧的样本，包括H2上的样本
• 支持向量：位于H1或H2之上的样本点

正负样本：
$$y_i(\text{w}?\text{x}+b)?1\ge 0?\{\begin{array}{l}正样本：if{y}_i=1,\text{w}.\text{x}+b\ge 1\\ 负样本：if{y}_i=?1,\text{w}.\text{x}+b\le ?1\end{array}$$

问题：H1到H2的距离：$Margin=\frac{2}{||w||}$
答：两平行直线之间的距离公式：
$$\begin{gathered} \frac{(C_1?C_2)}{\sqrt{A^2+B^2}} \\ l1:Ax+By+C_1=0 \\ l2:Ax+By+C_2=0 \end{gathered}$$

问题：$\text{w}$垂直与H原因
答：$\text{w}$和$\text{x}$是两个向量，$b$是偏置权重对应的特征值为1

问题：$||w||=$?
答：
$$||w||=\sqrt{w^2}$$

问题：$b$是什么？
答：$b$是偏置权重

公式推导

==SVM（硬间距）的任务：==找到超平面H1和H2

• 能够无误把样本划分成两部分
• 能够无误划分样本的H1和H2的最大间距（Margin）
• 上面两个条件需要同时满足
• 根据SVM的作用，所以SVM叫做大间距分类器

找到超平面H1和H2 $?$ 能够无误把样本划分成两部分&&能够无误划分样本的H1和H2的最大间距（Margin）
$$\begin{array}{r}maxMargin?max\frac{2}{||w||}?min\frac{||w|{|}^2}{2}\\ s.t.y_i(\text{w}?\text{x}+b)?1\ge 0\end{array}$$

不等式约束的条件极值问题：使用拉格朗日乘数法求解
$$\begin{array}{rl}L(w,b,{\alpha }_i)& =\frac{1}{||w|{|}^2}?\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1)\\ & =\frac{1}{2}||w|{|}^2?\sum _{i=1}^I{\alpha }_i{y}_i(w.x_i+b)+\sum _{i=1}^I{\alpha }_i\\ s.t.{\alpha }_i\ge 0& \end{array}$$

转化为凸优化问题：
$$\underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,{\alpha }_i)$$

条件极值问题 转化为 凸优化问题的（约束）条件：${\alpha }_i(y_i(w.x_i+b)?1)=0$
$$\begin{array}{rl}条件极值问题能够转化为凸优化问题& ?\underset{{\alpha }_i\ge 0}{\max }L(w,b,{\alpha }_i)=\frac{1}{||w|{|}^2}\\ & ?\underset{{\alpha }_i\ge 0}{\max }\{\frac{1}{||w|{|}^2}?\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1)\}=\frac{1}{||w|{|}^2}\\ & ?\frac{1}{||w|{|}^2}?\underset{{\alpha }_i\ge 0}{\max }\{\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1)\}=\frac{1}{||w|{|}^2}\\ & ?\underset{{\alpha }_i\ge 0}{\min }\{\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1)\}=0\\ s.t.& {\alpha }_i(y_i(w.x_i+b)?1)\ge 0\\ & {\alpha }_i\ge 0\\ 条件极值问题能够转化为凸优化问题的要求：& {\alpha }_i(y_i(w.x_i+b)?1)=0\end{array}$$

求解凸优化问题：先求偏导数，再令偏导数=0
$$\begin{array}{rl}目标：& 由内到外\\ & \underset{{\alpha }_i\ge 0}{\max }L(w,b,{\alpha }_i)\\ 先：& \\ & \frac{?L(w,b,{\alpha }_i)}{?{\alpha }_i}=?\sum _{i=1}^I(y_i(w{x}_i+b)?1)\\ 再：& \\ & \frac{?L(w,b,{\alpha }_i)}{?{\alpha }_i}=0，即\sum _{i=1}^I(y_i(w{x}_i+b)?1)=0，发现有两个变量w和b，求解有难度\\ 最后：& 需要转变求解思路，对偶变换\\ & \underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,{\alpha }_i)\stackrel{对偶变换}{?}\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,{\alpha }_i)\end{array}$$

求解对偶问题（凸优化问题的对偶问题）：先求偏导数，再令偏导数=0
$$\begin{array}{rl}目标：& 由内到外\\ & \underset{w,b}{\min }L(w,b,{\alpha }_i)\\ 先：& \\ & \frac{?L(w,b,{\alpha }_i)}{?w}=w?\sum _{i=1}^I{\alpha }_i{y}_i{x}_i\\ & \frac{?L(w,b,{\alpha }_i)}{?b}=?\sum _{i=1}^I{\alpha }_i{y}_i\\ 再：& \\ & \frac{?L(w,b,{\alpha }_i)}{?w}=w?\sum _{i=1}^I{\alpha }_i{y}_i{x}_i=0?w=\sum _{i=1}^I{\alpha }_i{y}_i{x}_i\\ & \frac{?L(w,b,{\alpha }_i)}{?b}=?\sum _{i=1}^I{\alpha }_i{y}_i=0?0=\sum _{i=1}^I{\alpha }_i{y}_i\\ 回代：& 回代到对偶问题\\ \underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,{\alpha }_i)& =\underset{{\alpha }_i\ge 0}{\max }\{\frac{1}{2}||w|{|}^2?\sum _{i=1}^I{\alpha }_i{y}_i(w.x_i+b)+\sum _{i=1}^I{\alpha }_i\}\\ & =\underset{{\alpha }_i\ge 0}{\max }\{\frac{1}{2}||w|{|}^2?\sum _{i=1}^I{\alpha }_i{y}_{i}w.x_i?\sum _{i=1}^I{\alpha }_i{y}_{i}b+\sum _{i=1}^I{\alpha }_i\}\\ & =\underset{{\alpha }_i\ge 0}{\max }\{\frac{1}{2}||w|{|}^2?\sum _{i=1}^I{\alpha }_i{y}_{i}w.x_i+\sum _{i=1}^I{\alpha }_i\}\\ & =\underset{{\alpha }_i\ge 0}{\max }\{\sum _{i=1}^I{\alpha }_i?\frac{1}{2}||w|{|}^2\}\\ & =\underset{{\alpha }_i\ge 0}{\max }\{\sum _{i=1}^I{\alpha }_i?\frac{1}{2}\sum _{i=1}^I\sum _{j=1}^I{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j\}\\ 结果：& 对偶问题求解结果\\ & \underset{{\alpha }_i\ge 0}{\max }\{\sum _{i=1}^I{\alpha }_i?\frac{1}{2}\sum _{i=1}^I\sum _{j=1}^I{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j\}\\ s.t.& \sum _{i=1}^I{\alpha }_i{y}_i=0，来自\frac{?L(w,b,{\alpha }_i)}{?b}\\ & {\alpha }_i\ge 0，来自“拉格朗日系数”要求\end{array}$$

最终求得${\alpha }_i,w,b$：
$$\begin{gathered} 根据\underset{{\alpha }_i\ge 0}{\max }\{\sum _{i=1}^I{\alpha }_i?\frac{1}{2}\sum _{i=1}^I\sum _{j=1}^I{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j\}?求得\alpha \\ 根据w=\sum _{i=1}^I{\alpha }_i{y}_i{x}_i，来自\frac{?L(w,b,{\alpha }_i)}{?w}?求得w \\ 根据{\alpha }_i(y_i(w{x}_i?b)?1)=0，来自条件极值问题转凸优化问题的约束条件?求得b \end{gathered}$$

补充：所有约束条件
$$?\begin{array}{l}{y}_i(w{x}_i+b)?1\ge 0，来自要求所有样本位于H1和H2之上或之外\\ w=\sum _{i=1}^I{\alpha }_i{y}_i{x}_i，来自\frac{?L(w,b,{\alpha }_i)}{?w}\\ 0=\sum _{i=1}^I{\alpha }_i{y}_i，来自\frac{?L(w,b,{\alpha }_i)}{?b}\\ {\alpha }_i\ge 0，来自拉格朗日系数要求\\ {\alpha }_i(y_i(w{x}_i?b)?1)=0，来自条件极值问题转凸优化问题的约束条件\end{array}$$

软间隔(Soft-Margin)

图示

介绍

• 上图所示，H1划分正样本，H2划分负样本，但是H1并未能够将正样本完全分开，有一点P被错误划分为了负样本
• 为了正确划分样本点P，H1向下平移$\zeta$成为H1’
• 此时，H1’左上的点为正样本，H2右下的样本为负样本
• 发现，H1’将某些负样本错误划分成了正样本
• 发现，H1’和H2之间的样本点既被划分成了正样本又被划分成了负样本
• Margin为H1’和H2之间的距离
• 进一步，H1’将某些负样本错误划分成了正样本，类别划分错误的样本点多，误差大
• 进一步，H1’和H2之间的距离Margin小，泛化能力弱，需要找到更大Margin

进一步：

• 在大数据量的情况下，完全无误划分正负样本难度大 且 得到大Margin的难度大 $\stackrel{退求其次}{?}$ 找到允许分错小部分样本的大间距 $?$ 软间距
• 如何得到软间距：
  $$已知\{\begin{array}{l}硬间距\\ 软间距要求：允许一定分类误差和间距足够大\end{array}?平移硬间距超平面\text{H1}或\text{H2}?得到新的正负样本公式$$

正负样本：
$$y_i(\text{w}?\text{x}+b)?1+\zeta \ge 0?\{\begin{array}{l}正样本：if{y}_i=1,\text{w}.\text{x}+b\ge 1?\zeta \\ 负样本：if{y}_i=?1,\text{w}.\text{x}+b\le ?1+\zeta \end{array}s.t.\zeta \ge 0$$

新Margin：
$$\begin{array}{rl}Margin& =\frac{2?2\zeta }{||w||}\end{array}$$

问题：$\zeta$作用

• 上下平移硬间距超平面H1，H2二者代表无分类误差
• $\zeta$变化$?$分类误差变化 && H1’和H2’的间距变化

问题：$\frac{\zeta ?\text{w}}{||\text{w}||}$是什么？
答：$\zeta$在$\text{w}$方向上的投影

问题：向量投影公式
答：
$$\begin{gathered} 已知，向量\text{a},\text{b} \\ \text{a}在\text{b}方向上的投影=\frac{\text{a}?\text{b}}{||\text{b}||} \end{gathered}$$

公式推导

SVM（软间距）的任务：

• 允许一定分类误差，能够适度（弹性）有误把样本划分成两部分
• 能够最大化H1’和H2’的间距（Margin）
• 上面两个条件需要同时满足
• 根据SVM的作用，所以SVM叫做软间距

已知硬间距条件极值：找到超平面H1和H2 $?$ 能够无误把样本划分成两部分&&能够无误划分样本的H1和H2的最大间距（Margin）
$$\begin{array}{r}maxMargin?max\frac{2}{||w||}?min\frac{||w|{|}^2}{2}\\ s.t.y_i(\text{w}?\text{x}+b)?1\ge 0\end{array}$$

推知软间距条件极值：找到超平面H1’和H2’ $?$ 有适度失误把样本划分成两部分&&有适度失误划分样本的H1’和H2’的最大间距（Margin）
$$\begin{array}{rl}\max Margin?max\frac{2?2\zeta }{||w||}?min\{\frac{||w|{|}^2}{2}+C\sum _{i=1}^I{\zeta }_i\}& \\ s.t.& y_i(\text{w}?\text{x}+b)?1+\zeta \ge 0\\ & \zeta \ge 0\\ C的作用：& 已知\zeta 作用，\zeta 变化?分类误差变化和H{1}^{\prime }和H{2}^{\prime }的间距变化\\ & 因此，我们需要控制（惩罚）\zeta ?使用超参数C控制（惩罚）\zeta ?使用超参数C控制（惩罚）分类误差和H{1}^{\prime }和H{2}^{\prime }的间距\end{array}$$

不等式约束的条件极值问题：使用拉格朗日乘数法求解
$$\begin{array}{rl}L(w,b,{\zeta }_i,{\alpha }_i,u_i)& =\frac{1}{||w|{|}^2}+C\sum _{i=1}^I{\zeta }_i?\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)?\sum _{i=1}^I{u}_i{\zeta }_i\\ s.t.& {\alpha }_i\ge 0\\ & u_i\ge 0\end{array}$$

转化为凸优化问题：
$$\underset{w,b,{\zeta }_i}{\min }\underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }L(w,b,{\zeta }_i,{\alpha }_i,u_i)$$

条件极值问题 转化为 凸优化问题的（约束）条件：${\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)=0且u_i{\zeta }_i=0$
$$\begin{array}{rl}条件极值问题能够转化为凸优化问题& ?\underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }L(w,b,{\zeta }_i,{\alpha }_i,u_i)=\frac{||w|{|}^2}{2}+C\sum _{i=1}^I{\zeta }_i\\ & ?\underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }\{\frac{1}{||w|{|}^2}+C\sum _{i=1}^I{\zeta }_i?\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)?\sum _{i=1}^I{u}_i{\zeta }_i\}=\frac{||w|{|}^2}{2}+C\sum _{i=1}^I{\zeta }_i\\ & ?\underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }\{?\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)?\sum _{i=1}^I{u}_i{\zeta }_i\}=0\\ & ?\underset{{\alpha }_i\ge 0,u_i\ge 0}{\min }\{\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)+\sum _{i=1}^I{u}_i{\zeta }_i\}=0\\ & ?\underset{{\alpha }_i\ge 0,u_i\ge 0}{\min }\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)+\underset{{\alpha }_i\ge 0,u_i\ge 0}{\min }\sum _{i=1}^I{u}_i{\zeta }_i=0\\ & \stackrel{根据条件}{?}{\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)=0且u_i{\zeta }_i=0\\ s.t.& {\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)\ge 0\\ & {\alpha }_i\ge 0\\ & u_i\ge 0\\ 条件极值问题能够转化为凸优化问题的要求：& {\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)=0且u_i{\zeta }_i=0\end{array}$$

求解凸优化问题：先求偏导数，再令偏导数=0
$$\begin{array}{rl}目标：& 由内到外\\ & \underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }L(w,b,{\zeta }_i,{\alpha }_i,u_i)\\ 先：& \\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?{\alpha }_i}=?\sum _{i=1}^I(y_i(w{x}_i+b)?1+{\zeta }_i)\\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?u_i}=?\sum _{i=1}^I{\zeta }_i\\ 再：& \\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?{\alpha }_i}=0，即\sum _{i=1}^I(y_i(w{x}_i+b)?1+{\zeta }_i)=0，发现有三个变量w,b和{\zeta }_i，求解有难度\\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?u_i}=0，即\sum _{i=1}^I{\zeta }_i=0，则{\zeta }_i=0，无意义\\ 最后：& 需要转变求解思路，对偶变换\\ & \underset{w,b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,{\zeta }_i,{\alpha }_i,u_i)\stackrel{对偶变换}{?}\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }L(w,b,{\zeta }_i,{\alpha }_i,u_i)\end{array}$$

求解对偶问题（凸优化问题的对偶问题）：先求偏导数，再令偏导数=0
$$\begin{array}{rl}目标：& 由内到外\\ & \underset{w,b,{\zeta }_i}{\min }L(w,b,{\zeta }_i,{\alpha }_i,u_i)\\ 先：& \\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?w}=w?\sum _{i=1}^I{\alpha }_i{y}_i{x}_i\\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?b}=?\sum _{i=1}^I{\alpha }_i{y}_i\\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?{\zeta }_i}=\sum _{i=1}^{I}C?\sum _{i=1}^I{\zeta }_i?\sum _{i=1}^I{u}_i\\ 再：& \\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?w}=w?\sum _{i=1}^I{\alpha }_i{y}_i{x}_i=0?w=\sum _{i=1}^I{\alpha }_i{y}_i{x}_i\\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?b}=?\sum _{i=1}^I{\alpha }_i{y}_i=0?0=\sum _{i=1}^I{\alpha }_i{y}_i\\ & \frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?{\zeta }_i}=\sum _{i=1}^{I}C?\sum _{i=1}^I{\zeta }_i?\sum _{i=1}^I{u}_i=0?C?{\alpha }_i=u_i\\ 回代：& 回代到对偶问题\\ \underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }\underset{w,b,{\zeta }_i}{\min }L(w,b,{\zeta }_i,{\alpha }_i,u_i)& =\underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }\{\frac{1}{2}||w|{|}^2+C\sum _{i=1}^I{\zeta }_i?\sum _{i=1}^I{\alpha }_i(y_i(w.x_i+b)?1+{\zeta }_i)?\sum _{i=1}^I{u}_i{\zeta }_i\}\\ & =\underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }\{\frac{1}{2}||w|{|}^2+C\sum _{i=1}^I{\zeta }_i?\sum _{i=1}^I{\alpha }_i{y}_{i}w{x}_i?\sum _{i=1}^I{\alpha }_i{y}_{i}b+\sum _{i=1}^I{\alpha }_i?\sum _{i=1}^I{\alpha }_i{\zeta }_i?\sum _{i=1}^I{u}_i{\zeta }_i\}\\ & =\underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }\{\sum _{i=1}^I{\alpha }_i+\sum _{i=1}^I(C?u_i){\zeta }_i?\frac{1}{2}||w|{|}^2\}\\ & =\underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }\{\sum _{i=1}^I{\alpha }_i?\sum _{i=1}^I\sum _{j=1}^I{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j\}\\ 结果：& 对偶问题求解结果\\ & \underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }\{\sum _{i=1}^I{\alpha }_i?\frac{1}{2}\sum _{i=1}^I\sum _{j=1}^I{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j\}\\ s.t.& \sum _{i=1}^I{\alpha }_i{y}_i=0，来自\frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?b}\\ & C\ge {\alpha }_i\ge 0，来自“拉格朗日系数”要求（{\alpha }_i\ge 0）\\ & u_i\ge 0，来自“拉格朗日系数”要求\end{array}$$

最终求得${\alpha }_i,u_i,w,b,{\zeta }_i$：
$$\begin{gathered} 根据\underset{{\alpha }_i\ge 0,u_i\ge 0}{\max }\{\sum _{i=1}^I{\alpha }_i?\frac{1}{2}\sum _{i=1}^I\sum _{j=1}^I{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j\}?求得\alpha \\ 根据u_i=C?{\alpha }_i，C是超参?求得u_i \\ 根据w=\sum _{i=1}^I{\alpha }_i{y}_i{x}_i，来自\frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?w}?求得w \\ 根据{\alpha }_i(y_i(w{x}_i?b)?1+{\zeta }_i)=0，来自条件极值问题转凸优化问题的约束条件?求得b \\ 根据u_i{\zeta }_i=0，来自条件极值问题转凸优化问题的约束条件?求得{\zeta }_i \end{gathered}$$

补充：所有约束条件
$$?\begin{array}{l}{y}_i(w{x}_i+b)?1+{\zeta }_i\ge 0，来自要求所有样本位于\text{H1’}和\text{H2’}之上或之外\\ w=\sum _{i=1}^I{\alpha }_i{y}_i{x}_i，来自\frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?w}\\ 0=\sum _{i=1}^I{\alpha }_i{y}_i，来自\frac{?L(w,b,{\zeta }_i,{\alpha }_i,u_i)}{?b}\\ {\alpha }_i\ge 0，来自拉格朗日系数要求\\ u_i\ge 0，来自拉格朗日系数要求\\ {\alpha }_i(y_i(w{x}_i?b)?1+{\zeta }_i)=0，来自条件极值问题转凸优化问题的约束条件\\ u_i{\zeta }_i=0，来自条件极值问题转凸优化问题的约束条件\end{array}$$

问题：软间距要求$C\ge {\alpha }_i\ge 0$硬间距要求${\alpha }_i\ge 0$
答：

• 已知$C$的作用：
  $$\begin{array}{rl}C的作用：& 已知\zeta 作用，\zeta 变化?分类误差变化和H{1}^{\prime }和H{2}^{\prime }的间距变化\\ & 因此，我们需要控制（惩罚）\zeta ?使用超参数C控制（惩罚）\zeta ?使用超参数C控制（惩罚）分类误差和H{1}^{\prime }和H{2}^{\prime }的间距\end{array}$$
• $C\ge 0,默认C=1.0$
• 若$C$设置大了，
  $$\begin{array}{rl}为了\max Margin?max\frac{2?2\zeta }{||w||}& ?min\{\frac{||w|{|}^2}{2}+C\sum _{i=1}^I{\zeta }_i\}\\ & ?{\zeta }_i设置小值\\ & ?\text{H1}和\text{H2}平移距离小\\ & ?接近于硬间隔\\ & ?要求分类误差小\\ & ?大数据情况下训练时间长，Margin小\end{array}$$
• 若$C$设置小了，
  $$\begin{array}{rl}为了\max Margin?max\frac{2?2\zeta }{||w||}& ?min\{\frac{||w|{|}^2}{2}+C\sum _{i=1}^I{\zeta }_i\}\\ & ?{\zeta }_i设置较大值\\ & ?\text{H1}和\text{H2}平移距离较大\\ & ?不接近于硬间隔\\ & ?要求分类误差较大\\ & ?大数据情况下训练时间较短，Margin较大\end{array}$$