1、分类问题-classification

$\qquad$ 区分垃圾邮件(0-1分类问题)，网上交易是否诈骗(0-1分类问题)，判断肿瘤是否为良性(0-1分类问题)都为简单的二元分类问题。用线性回归方式来解决分类问题的思路为：首先根据给定的训练数据来拟合一条线性函数，之后找到纵坐标为0.5的对应的横坐标的值 $v a l$ ，之后将小于 $v a l$ 的值标记为分类1，将大于 $v a l$ 的值标记为分类0。这种方法会受到训练数据较大的影响，若有一个偏离较大的训练数据，则会让回归函数出现较大的偏离，使得预测结果变得很差。
在这里插入图片描述

2、逻辑回归-Logistic Regression

$\qquad$ 使用线性回归来解决分类问题的另一大弊端在于当前需要的预测值 $\in \{0,1\}$ ，而线性回归函数的值包含任意值，为了解决这个问题，可以将假设函数的形式进行更改，使得 $\leq h_{\theta}(x)\leq 1$ ，从而引出Logistic Functin或者叫做Sigmoid Function。Sigmoid Function的函数表达式和函数图像如下所示：
$h_{\theta}(x)=g(\theta^Tx)$ $g(z)=\frac{1}{1+e^{-z}}$ $h_{\theta}(x)=\frac{1}{1+e^{-\theta^Tx}}$
在这里插入图片描述
$\qquad$ 上述Sigmoid Function将给出 $h_{\theta}(x)$ 输出为1的概率，例如当
$h_{\theta}(x)=0.7$ 时，表示输出有70%概率为1，同时表示输出有30%概率为0。所以Sigmoid Function可以很好地解决0-1分类问题。当输出不小于0.5将这个实验数据划分到1的分类中，否则划分到0的分类中。
$h_{\theta}(x)=P(y=1|x;\theta)=1-P(y=0|x;\theta)$

2.1 决策边界

$\qquad$ 上述提到，当 $h_{\theta}(x)$ 的值不小于0.5将这个实验数据划分到1的分类中，否则划分到0的分类中，即 $h_{\theta}(x) \geq 0.5 → y = 1$ $h_{\theta}(x) < 0.5 → y = 0$ $\qquad$ 根据上述Sigmoid Function函数图像可以得出下述结论： $g(z)\geq0.5\ \ when\ \ z \geq 0$ $\qquad$ 根据上述式子可以推出： $h_{\theta}(x)=g(\theta^Tx)\geq0.5 \ \ when \ \ \theta^Tx\geq 0$ $\qquad$ 所以有： $\theta^Tx\geq 0 → y = 1$ $\theta^Tx < 0 → y = 0$ $\qquad$ 通过下述示例来进一步理解决策边界：
在这里插入图片描述
$\qquad$ 上例中决策边界为 $x = 5$ ，当 $x\leq5$ 时， $y = 1$ ；当 $x > 5$ 时， $y = 0$ 。

$\qquad$ 同时需要注意，决策边界不一定为线性的形式，也可以为二次或者高次函数。

$\qquad$ 通过上述分析可以看出，训练数据集不是用来确定决策边界的，而是用来训练参数 $\theta$ 的，一旦得到一组确定的参数 $\theta$ ，就可以根据上述方法确定出决策边界。