[人工智能]《动手学深度学习》之线性神经网络

线性回归

回归（regression）是指一类为一个或多个自变量与因变量之间关系建模的方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。

线性模型

当我们的输入包含$d$个特征时，我们将预测结果$\hat{y}$（通常使用“尖角”符号表示估计值）表示为：

$$\hat{y}=w_1{x}_1+...+w_d{x}_d+b.$$

将所有特征放到向量$\mathbf{x}\in {\mathbb{R}}^d$中，并将所有权重放到向量$\mathbf{w}\in {\mathbb{R}}^d$中，我们可以用点积形式来简洁地表达模型：

$$\hat{y}={\mathbf{w}}^{?}\mathbf{x}+b.$$

向量$\mathbf{x}$对应于单个数据样本的特征。用符号表示的矩阵$\mathbf{X}\in {\mathbb{R}}^{n\times d}$可以很方便地引用我们整个数据集的$n$个样本。其中，$\mathbf{X}$的每一行是一个样本，每一列是一种特征。

对于特征集合$\mathbf{X}$，预测值$\hat{\mathbf{y}}\in {\mathbb{R}}^n$可以通过矩阵-向量乘法表示为：

$$\hat{\mathbf{y}}=\mathbf{X}\mathbf{w}+b$$

损失函数

回归问题中最常用的损失函数是平方误差函数。当样本$i$的预测值为${\hat{y}}^{(i)}$，其相应的真实标签为$y^{(i)}$时，平方误差可以定义为以下公式：

$$l^{(i)}(\mathbf{w},b)=\frac{1}{2}{\left({\hat{y}}^{(i)}?y^{(i)}\right)}^2.$$

常数$\frac{1}{2}$不会带来本质的差别，但这样在形式上稍微简单一些，表现为当我们对损失函数求导后常数系数为1。

由于平方误差函数中的二次方项，估计值${\hat{y}}^{(i)}$和观测值$y^{(i)}$之间较大的差异将贡献更大的损失。为了度量模型在整个数据集上的质量，我们需计算在训练集$n$个样本上的损失均值（也等价于求和）。

$$L(\mathbf{w},b)=\frac{1}{n}\sum _{i=1}^n{l}^{(i)}(\mathbf{w},b)=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}{\left({\mathbf{w}}^{?}{\mathbf{x}}^{(i)}+b?y^{(i)}\right)}^2.$$

在训练模型时，我们希望寻找一组参数（${\mathbf{w}}^{?},b^{?}$），这组参数能最小化在所有训练样本上的总损失。如下式：

$${\mathbf{w}}^{?},b^{?}=*{argmin}_{\mathbf{w},b}L(\mathbf{w},b).$$

解析解

线性回归的解可以用一个公式简单地表达出来，这类解叫作解析解（analytical solution）。首先，我们将偏置$b$合并到参数$\mathbf{w}$中。合并方法是在包含所有参数的矩阵中附加一列。我们的预测问题是最小化$\Vert \mathbf{y}?\mathbf{X}\mathbf{w}{\Vert }^2$。这在损失平面上只有一个临界点，这个临界点对应于整个区域的损失最小值。大体推导过程如下：

小批量随机梯度下降

梯度下降最简单的用法是计算损失函数（数据集中所有样本的损失均值）关于模型参数的导数（在这里也可以称为梯度）。

每一次更新参数之前，须遍历整个数据集。因此，我们通常会在每次需要计算更新的时候随机抽取一小批样本，这种变体叫做小批量随机梯度下降（minibatch stochastic gradient descent）。

在每次迭代中，我们首先随机抽样一个小批量$\mathcal{B}$，它是由固定数量的训练样本组成的。然后，我们计算小批量的平均损失关于模型参数的导数（也可以称为梯度）。最后，我们将梯度乘以一个预先确定的正数$\eta$，并从当前参数的值中减掉。

我们用下面的数学公式来表示这一更新过程（$?$表示偏导数）：

$$(\mathbf{w},b)\leftarrow (\mathbf{w},b)?\frac{\eta }{|\mathcal{B}|}\sum _{i\in \mathcal{B}}{?}_{(\mathbf{w},b)}{l}^{(i)}(\mathbf{w},b).$$

总结一下，算法的步骤如下：
（1）初始化模型参数的值，如随机初始化；
（2）从数据集中随机抽取小批量样本且在负梯度的方向上更新参数，并不断迭代这一步骤。对于平方损失和仿射变换，我们可以明确地写成如下形式:

$$\begin{array}{rl}\mathbf{w}& \leftarrow \mathbf{w}?\frac{\eta }{|\mathcal{B}|}\sum _{i\in \mathcal{B}}{?}_{\mathbf{w}}{l}^{(i)}(\mathbf{w},b)=\mathbf{w}?\frac{\eta }{|\mathcal{B}|}\sum _{i\in \mathcal{B}}{\mathbf{x}}^{(i)}\left({\mathbf{w}}^{?}{\mathbf{x}}^{(i)}+b?y^{(i)}\right),\\ b& \leftarrow b?\frac{\eta }{|\mathcal{B}|}\sum _{i\in \mathcal{B}}{?}_b{l}^{(i)}(\mathbf{w},b)=b?\frac{\eta }{|\mathcal{B}|}\sum _{i\in \mathcal{B}}\left({\mathbf{w}}^{?}{\mathbf{x}}^{(i)}+b?y^{(i)}\right).\end{array}$$

$\mathbf{w}$和$\mathbf{x}$都是向量。在这里，更优雅的向量表示法比系数表示法（如$w_1,w_2,\dots ,w_d$）更具可读性。
$|\mathcal{B}|$表示每个小批量中的样本数，这也称为批量大小（batch size）。$\eta$表示学习率（learning rate）。批量大小和学习率的值通常是手动预先指定，而不是通过模型训练得到的。这些可以调整但不在训练过程中更新的参数称为超参数（hyperparameter）。
调参（hyperparameter tuning）是选择超参数的过程。超参数通常是我们根据训练迭代结果来调整的，而训练迭代结果是在独立的验证数据集（validation dataset）上评估得到的。

事实上，更难做到的是找到一组参数，这组参数能够在我们从未见过的数据上实现较低的损失，这一挑战被称为泛化（generalization）。

softmax回归

网络结构

为了估计所有可能类别的条件概率，我们需要一个有多个输出的模型，每个类别对应一个输出。为了解决线性模型的分类问题，我们需要和输出一样多的仿射函数（affine function）。每个输出对应于它自己的仿射函数。
在我们的例子中，由于我们有4个特征和3个可能的输出类别，我们将需要12个标量来表示权重（带下标的$w$），3个标量来表示偏置（带下标的$b$）。
下面我们为每个输入计算三个未归一化的预测（logit）：$o_1$、$o_2$和$o_3$。

$$\begin{array}{rl}{o}_1& =x_1{w}_{11}+x_2{w}_{12}+x_3{w}_{13}+x_4{w}_{14}+b_1,\\ o_2& =x_1{w}_{21}+x_2{w}_{22}+x_3{w}_{23}+x_4{w}_{24}+b_2,\\ o_3& =x_1{w}_{31}+x_2{w}_{32}+x_3{w}_{33}+x_4{w}_{34}+b_3.\end{array}$$

与线性回归一样，softmax回归也是一个单层神经网络。由于计算每个输出$o_1$、$o_2$和$o_3$取决于所有输入$x_1$、$x_2$、$x_3$和$x_4$，所以softmax回归的输出层也是全连接层。

softmax运算

在这里要采取的主要方法是将模型的输出视作为概率。我们将优化参数以最大化观测数据的概率。为了得到预测结果，我们将设置一个阈值，如选择具有最大概率的标签。

要将输出视为概率，我们必须保证在任何数据上的输出都是非负的且总和为1。此外，我们需要一个训练目标，来鼓励模型精准地估计概率。在分类器输出0.5的所有样本中，我们希望这些样本有一半实际上属于预测的类。这个属性叫做校准（calibration）。

为了将未归一化的预测变换为非负并且总和为1，同时要求模型保持可导。我们首先对每个未归一化的预测求幂，这样可以确保输出非负。为了确保最终输出的总和为1，我们再对每个求幂后的结果除以它们的总和。如下式：

$$\hat{\mathbf{y}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathbf{o})\text{其中}{\hat{y}}_j=\frac{\exp (o_j)}{{\sum }_k\exp (o_k)}$$

容易看出对于所有的$j$总有$0\le {\hat{y}}_j\le 1$。因此，$\hat{\mathbf{y}}$可以视为一个正确的概率分布。softmax运算不会改变未归一化的预测$\mathbf{o}$之间的顺序，只会确定分配给每个类别的概率。因此，在预测过程中，我们仍然可以用下式来选择最有可能的类别。

$$*{argmax}_j{\hat{y}}_j=*{argmax}_j{o}_j.$$

尽管softmax是一个非线性函数，但softmax回归的输出仍然由输入特征的仿射变换决定。因此，softmax回归是一个线性模型。

损失函数

对数似然

softmax函数给出了一个向量$\hat{\mathbf{y}}$，我们可以将其视为给定任意输入$\mathbf{x}$的每个类的估计条件概率。例如，${\hat{y}}_1$=$P(y=\text{猫}\mid \mathbf{x})$。假设整个数据集 { X , Y } \{\mathbf{X}, \mathbf{Y}\} {X,Y}具有$n$个样本，其中索引$i$的样本由特征向量${\mathbf{x}}^{(i)}$和独热标签向量${\mathbf{y}}^{(i)}$组成。我们可以将估计值与实际值进行比较：

$$P(\mathbf{Y}\mid \mathbf{X})=\prod _{i=1}^{n}P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)}).$$

根据最大似然估计，我们最大化$P(\mathbf{Y}\mid \mathbf{X})$，相当于最小化负对数似然：

$$?\log P(\mathbf{Y}\mid \mathbf{X})=\sum _{i=1}^n?\log P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)})=\sum _{i=1}^{n}l({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)}),$$

其中，对于任何标签$\mathbf{y}$和模型预测$\hat{\mathbf{y}}$，损失函数为交叉熵损失：

$$l(\mathbf{y},\hat{\mathbf{y}})=?\sum _{j=1}^q{y}_j\log {\hat{y}}_j.$$

softmax及其导数

由于softmax和相关的损失函数很常见，因此值得我们更好地理解它的计算方式。利用softmax的定义，我们得到：

$$\begin{array}{rl}l(\mathbf{y},\hat{\mathbf{y}})& =?\sum _{j=1}^q{y}_j\log \frac{\exp (o_j)}{{\sum }_{k=1}^q\exp (o_k)}\\ & =\sum _{j=1}^q{y}_j\log \sum _{k=1}^q\exp (o_k)?\sum _{j=1}^q{y}_j{o}_j\\ & =\log \sum _{k=1}^q\exp (o_k)?\sum _{j=1}^q{y}_j{o}_j.\end{array}$$

为了更好地理解发生了什么，考虑相对于任何未归一化的预测$o_j$的导数。我们得到：

$${?}_{o_j}l(\mathbf{y},\hat{\mathbf{y}})=\frac{\exp (o_j)}{{\sum }_{k=1}^q\exp (o_k)}?y_j=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathbf{o}{)}_j?y_j.$$

换句话说，导数是我们模型分配的概率（由softmax得到）与实际发生的情况（由独热标签向量表示）之间的差异。从这个意义上讲，与我们在回归中看到的非常相似，其中梯度是观测值$y$和估计值$\hat{y}$之间的差异。这不是巧合，在任何指数族分布（参见关于分布的在线附录）模型中，对数似然的梯度正是由这给出的。这使梯度计算在实践中变得容易。

信息论基础

信息论涉及编码、解码、发送以及尽可能简洁地处理信息或数据。

熵

信息论的核心思想是量化数据中的信息内容，在信息论中，该数值被称为分布$P$的熵（entropy）。可以通过以下方程得到：

$$H[P]=\sum _j?P(j)\log P(j).$$

信息论的基本定理之一指出，为了对从分布$p$中随机抽取的数据进行编码，我们至少需要$H[P]$“纳特（nat）”对其进行编码。“纳特”相当于位，但是对数底为$e$而不是2。因此，一个纳特是$\frac{1}{\log (2)}\approx 1.44$位。

交叉熵

交叉熵分类目标：

• 最大化观测数据的似然；

• 最小化传达标签所需的惊异。

总结

• 机器学习模型中的关键要素是训练数据，损失函数，优化算法，还有模型本身。
• 矢量化使数学表达上更简洁，同时运行的更快。
• 最小化目标函数和执行最大似然估计等价。
• 线性回归模型也是神经网络。
• softmax运算获取一个向量并将其映射为概率。
• softmax回归适用于分类问题。它使用了softmax运算中输出类别的概率分布。
• 交叉熵是一个衡量两个概率分布之间差异的很好的度量。它测量给定模型编码数据所需的比特数。