|
# 1. 线性回归损失函数推导
$$ y=\theta^Tx+\epsilon $$ ?
------------------------------------
y表示真实结果，x表示真实数据，$\epsilon$表示误差，$\theta$表示参数 ?
根据中心直线定理误差$\epsilon$满足独立同分布，服从均值为0，方差为某定值$\sigma^2$的高斯分布 ?
相关推到如下??
$p(\epsilon^{(i)})=\frac{1}{\sqrt{2\pi}}exp(-\frac{(\epsilon^{(i)})^2}{2\sigma^2})$ ?
$ p(y^{(i)}|x^{(i)};\theta)=\frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$?
$L(\theta) = \displaystyle\prod_{i=1}^m p(y^{(i)}|x^{(i)};\theta)$ ?
?$\qquad ?= \displaystyle\prod_{i=1}^m \frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$ ?
?
$l(\theta) = logL(\theta) $ ??
$ \qquad = log \displaystyle\prod_{i=1}^m \frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$ ?
$ \qquad = \displaystyle\sum_{i=1}^{m}log \frac{1}{\sqrt{2\pi\sigma}}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$ ?
$\qquad ?= m log\frac{1}{\sqrt{2\pi}\sigma} - \frac{1}{\sigma^2}.\frac{1}{2} \displaystyle\sum_{i-i}^{m}(y^{(i)}-\theta^Tx^{(i)})^2$
|