|
开学报告
??本人在暑假期间学习了Python的基础语法，也做了一些与该语言相关的练习题，目前正在学习的课程为DIVE INTO DEEP LEARNING。由于本人之前从未接触过该领域的相关知识，所以决定打好一个牢固的基础。我学习配置了一个环境来运行 Python、Pycharm、相关库以及该课程所需的代码，以快速入门并获得动手学习的经验，并且复习了高等数学和线性代数的相关知识，例如自动求导的代码实现和张量，张量在深度学习中是一个很重要的概念，因为它是一个深度学习框架中的一个核心组件，后续的所有运算和优化算法几乎都是基于张量进行的。
??接着我学习了线性回归模型，线性回归（linear regression）在回归的各种标准工具中最简单而且最流行。线性回归基于几个简单的假设：首先，假设自变量x和因变量y之间的关系是线性的，即y可以表示为x中元素的加权和，这里通常允许包含观测值的一些噪声，其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。为了解释线性回归，我们举一个实际的例子：我们希望根据房屋的面积（平方英尺）和房龄（年）来估算房屋价格（美元）。为了开发一个能预测房价的模型，我们需要收集一个真实的数据集。这个数据集包括了房屋的销售价格、面积和房龄。在机器学习的术语中，该数据集称为训练数据集（training data set）或训练集（training set），每行数据（在这个例子中是与一次房屋交易相对应的数据）称为样本（sample），也可以称为数据点（data point）或数据样本（data instance）。我们要试图预测的目标（在这个例子中是房屋价格）称为标签（label）或目标（target）。预测所依据的自变量（面积和房龄）称为特征（feature）或协变量（covariate）。
??建模时采用线性代数表示法会比较方便。当我们的输入包含d个特征时，我们将预测结果
y
^
\hat{y}
y^?（通常使用“尖角”符号表示估计值）表示为：
??????????
y
^
=
w
1
x
1
+
.
.
.
+
w
d
x
d
+
b
\hat{y} = w_{1}x_{1} + ... + w_{d}x_{d} + b
y^?=w1?x1?+...+wd?xd?+b
??当我们的输入包含d个特征时，将所有特征放到向量
x
∈
R
d
\textbf{x}\in\mathbf{R}^d
x∈Rd中，并将所有权重放到向量
w
∈
R
d
\textbf{w}\in\mathbf{R}^d
w∈Rd中，
y
^
\hat{y}
y^?表示预测结果，可以用点积形式来简洁地表达模型：
??????????
y
^
=
w
?
x
+
b
\hat{y} = \textbf{w}^\top\textbf{x} +b
y^?=w?x+b
扩展：
用符号表示的矩阵
X
∈
R
n
×
d
\mathbf{X}\in\mathbf{R}^{n\times d}
X∈Rn×d可以很方便地引用整个数据集的n个样本。其中，
X
\mathbf{X}
X的每一行是一个样本，每一列是一种特征。模型通过矩阵-向量乘法表示为：
??????????
y
^
=
X
w
+
b
\hat{y} = \mathbf{X}\mathbf{w} + b
y^?=Xw+b
??给定训练数据特征
X
\mathbf{X}
X和对应的已知标签
y
y
y，线性回归的目标是找到一组权重向量
w
w
w和偏置
b
b
b。当给定从
X
\mathbf{X}
X的同分布中取样的新样本特征时，找到的权重向量和偏置能够使得新样本预测标签的误差尽可能小。
??在训练模型时，我们希望寻找一组参数（
w
?
,
b
?
\mathbf{w}^*,\mathbf{b}^*
w?,b?），这组参数能最小化在所有训练样本上的总损失。如下式：
??????????
w
?
,
b
?
=
arg?min
?
w
,
b
∣
∣
X
w
?
Y
∣
∣
2
2
（
w
,
b
）
\mathbf{w}^*,\mathbf{b}^* = \argmin_{\mathbf{w},{\mathbf{b}}} ||\mathbf{X} \mathbf{w} - \mathbf{Y}||_2^2（\mathbf{w},\mathbf{b}）
w?,b?=w,bargmin?∣∣Xw?Y∣∣22?（w,b）
如何获得
w
\mathbf{w}
w?
推导过程:
∣
∣
X
w
?
Y
∣
∣
2
2
=
(
X
w
?
Y
)
T
(
X
w
?
Y
)
||\mathbf{X} \mathbf{w} - \mathbf{Y}||_2^2 = (\mathbf{X}\mathbf{w}?\mathbf{Y})^{\mathrm{T}}(\mathbf{X}\mathbf{w}?\mathbf{Y})
∣∣Xw?Y∣∣22?=(Xw?Y)T(Xw?Y)
???????
=
(
w
T
X
T
?
Y
T
)
(
X
w
?
Y
)
=(\mathbf{w}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}} - \mathbf{Y}^{\mathrm{T}})(\mathbf{X}\mathbf{w}?\mathbf{Y})
=(wTXT?YT)(Xw?Y)
???????
=
w
T
X
T
X
w
?
w
T
X
T
Y
?
Y
T
X
w
+
Y
T
Y
=\mathbf{w}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}}\mathbf{X}\mathbf{w} - \mathbf{w}^{\mathrm{T}}\mathbf{X}^{\mathrm{T}}\mathbf{Y} - \mathbf{Y}^{\mathrm{T}}\mathbf{X}\mathbf{w} + \mathbf{Y}^{\mathrm{T}}\mathbf{Y}
=wTXTXw?wTXTY?YTXw+YTY
将该式关于
w
\mathbf{w}
w求导 (使用向量求导法则) 并令其为 0, 可得
X
T
X
w
?
X
T
Y
\mathbf{X}^{\mathrm{T}}\mathbf{X} \mathbf{w} - \mathbf{X}^{\mathrm{T}}\mathbf{Y}
XTXw?XTY=0
最后
w
=
(
X
T
X
)
?
1
X
T
Y
\mathbf{w} = (\mathbf{X}^{\mathrm{T}}\mathbf{X})^{-1}\mathbf{X}^{\mathrm{T}}\mathbf{Y}
w=(XTX)?1XTY
|