损失函数：
输入矩阵
X
=
[
x
1
,
x
2
,
.
.
.
,
x
n
]
X=[x_1,x_2,...,x_n]
X=[x1?,x2?,...,xn?]， 标签矩阵
Y
=
[
y
1
,
y
2
,
.
.
.
,
y
n
]
T
Y=[y_1,y_2,...,y_n]^T
Y=[y1?,y2?,...,yn?]T，权重向量
w
d
?
1
w_{d*1}
wd?1?
有
w
T
X
?
Y
=
[
w
T
x
1
w
T
x
2
.
.
.
w
T
x
n
]
?
[
y
1
y
2
.
.
.
y
n
]
=
[
w
T
x
1
?
y
1
w
T
x
2
?
y
2
.
.
.
w
T
x
n
?
y
n
]
w^TX-Y= \left[\begin{matrix} w^Tx_1\\w^Tx_2\\...\\w^Tx_n \end{matrix}\right]- \left[\begin{matrix} y_1\\y_2\\...\\y_n \end{matrix}\right] =\left[\begin{matrix} w^Tx_1-y_1\\w^Tx_2-y_2\\...\\w^Tx_n-y_n \end{matrix}\right]
wTX?Y=?????wTx1?wTx2?...wTxn?????????????y1?y2?...yn???????=?????wTx1??y1?wTx2??y2?...wTxn??yn???????
损失函数为误差平方和
J
(
w
)
=
1
2
∑
i
=
1
n
(
f
(
x
i
)
?
y
i
)
2
=
1
2
(
w
T
X
?
Y
)
T
(
w
T
X
?
Y
)
\begin{aligned} J(w)&=\frac12\sum_{i=1}^n (f(x_i)-y_i)^2\\ &=\frac12 (w^TX-Y)^T(w^TX-Y) \end{aligned}
J(w)?=21?i=1∑n?(f(xi?)?yi?)2=21?(wTX?Y)T(wTX?Y)?