[人工智能]主成分分析（Principal Component Analysis，PCA）

降维（Dimensionality Reduction）问题

1. 压缩数据

降维可以压缩数据，使数据占用更少的计算机内存和硬盘空间，或者是给算法提速。

举一个例子，假如你有一组数据，用 2 个特征来描述它：

这 2 个特征都表示长度，存在冗余，完全可以只用其中一个。而且从数据分布来看，似乎都在一条直线上。

或者我们再创建一个向量来描述它，这里用向量 $\mathbf{z}$：

通过某种关系把特征 $x_1$ 和特征 $x_2$ 融合成一个新的特征 $z$，把 $z$ 单独拿出来：

这样就把二维的数降低到一维了。虽然维度降低了，但是没有损失信息。

还有从 3 维降低到 2 维的例子：

这是一组 $3$ 维数据，而它们刚好处于一个 $2$ 维平面，所以可以降到 $2$ 维。

2. 可视化

降维还可以用于数据可视化。

假如有关于许多不同国家的数据，每一个特征向量都有 $50$ 个特征（如GDP，人均GDP，平均寿命等）。

如果要将这个 $50$ 维的数据可视化是不可能的。可以降到 $2$ 维来可视化：

这样做的问题在于，降维的算法只负责减少维数，新产生的特征的意义就必须由我们自己去发现了。

主成分分析

对于降维问题来说，目前最流行最常用的算法是 主成分分析 (Principal Componet Analysis, PCA） 法。

假如有一组二维数据，我们会想办法找到一条向量，把它们投影上去：

注意这里是垂直于向量（那条红线）投影的；之前线性回归的均方误差是垂直于横轴的。注意区分。

我们希望所有 投射误差 加起来最小。

像这种明显不太合适，投射误差太大：

如果我们有 $n$ 维的数据，要压缩成 $k$ 维，那就要找到 $k$ 个向量：$u^{(1)}$，$u^{(2)}$，$?$，$u^{(k)}$。
把数据投影到这 $k$ 个向量表示的空间上，来最小化投射误差。

下面这个图是从 $3$ 维投射到 $2$ 维的示意图：

具体做法：

假设数据集里有 $m$ 个数据：${\mathbf{x}}^{(1)}$，${\mathbf{x}}^{(2)}$，$\dots$，${\mathbf{x}}^{(m)}$。

$\mathbf{x}$ 是 $n$ 维的：$\mathbf{x}={\left[\begin{array}{c}{x}_1{x}_2?x_n\end{array}\right]}^T$，我们要降到 $k$ 维，降维后的数据为 $\mathbf{z}$

(1) ：
首先对数据做标准化：
算出每个维度的均值 ${\mu }_j$ 和方差 ${\sigma }_j^2$，$j\in [1,n]$。
对数据集做预处理，每个维度先减均值然后除以方差。

(2) ：
然后，怎样把 $\mathbf{x}$ 投影到 $k$ 维空间呢？ 我们需要找到一个转换矩阵： ${\text{U}}_{reduce}$

计算协方差矩阵 $\Sigma$：
$$\Sigma =\frac{1}{m}\sum _{i=1}^m({\mathbf{x}}^{(i)})({\mathbf{x}}^{(i)}{)}^T$$

对协方差矩阵 $\Sigma$ 做奇异值分解（SVD），得到 $3$ 个矩阵 ：$\text{U}$，$\text{S}$，$\text{V}$。

其中 $\text{U}$ 是一个 $n\times n$ 矩阵，设它的列向量为 ${\mathbf{u}}_1$，${\mathbf{u}}_2$，$\dots$，${\mathbf{u}}_n$。

我们要降到 $k$ 维，则取 $\text{U}$ 的前 $k$ 个列向量组成新的矩阵 ${\text{U}}_{reduce}$ ，它的维度是 $n\times k$。

(3) ：
通过下面计算得到降维后的 $z$：$$\mathbf{z}={\text{U}}_{reduce}^T?\mathbf{x}$$

其中 $\mathbf{x}$ 是 $n\times 1$ 维的，$\mathbf{z}$ 是 $k\times 1$ 维的。

主成分数量（$k$）的选择

假设原始数据为 $\mathbf{x}$，投射后为 ${\mathbf{x}}_{approx}$，我们的均方误差为：$$\frac{1}{m}\sum _{i=1}^m\Vert {\mathbf{x}}^{(i)}?{\mathbf{x}}_{approx}^{(i)}{\Vert }^2$$

前面讲了降维后的数据为 $\mathbf{z}={\text{U}}_{reduce}^T?\mathbf{x}$
反过来就是 $\mathbf{z}$ 在原始空间的值：${\mathbf{x}}_{approx}={\text{U}}_{reduce}?\mathbf{z}$。这里 ${\mathbf{x}}_{approx}\approx \mathbf{x}$，与原始空间维度一致。

数据的变差为：$$\frac{1}{m}\sum _{i=1}^m\Vert {\mathbf{x}}^{(i)}{\Vert }^2$$
意思是，平均来说我们的数据距离 $0$ 有多远。（数据已经经过标准化了，所以平均值为 $0$）

假如我们取到一个 $k$ 值，投射后能够满足下面的比例：$$\frac{\frac{1}{m}{\sum }_{i=1}^m\Vert {\mathbf{x}}^{(i)}?{\mathbf{x}}_{approx}^{(i)}{\Vert }^2}{\frac{1}{m}{\sum }_{i=1}^m\Vert {\mathbf{x}}^{(i)}{\Vert }^2}\le 0.01(1\%)\text{\hspace{1em}(1)}$$
则表示我们降维后保留了 $99\%$ 的差异性。

另外，$0.05$ 也是经常用到的数值，也就是 $5\%$。表示保留了 $95\%$ 的差异性。

在实践中，你经常会发现进行了大幅降维后，仍然能保持 $99\%$ 的差异性。因为大部分现实中的数据，许多特征变量之间都是高度相关的。

怎样找到 $k$ 值呢？

$?$ 通常会从 $k=1$ 开始，用 SVD 计算变换矩阵 ${\text{U}}_{reduce}$，对数据降维后，计算上面式子（1）得到比值。如果不满足预定的比值（例如$0.01$），则继续增大 $k$，直到刚好满足为止。

$?$ 还有一种做法是：
当你用 SVD 的时候得到 $3$ 个矩阵 ：$\text{U}$，$\text{S}$，$\text{V}$。
其中 $\text{S}$ 是一个 $n\times n$ 的对角矩阵，对角元素为$s_1$，$s_2$，$\dots$，$s_n$。其余元素都是 $0$。
对角项之和为 ${\sum }_{i=1}^n{s}_i$，对角项的前 $k$ 项之和为 ${\sum }_{i=1}^k{s}_i$。

如果$$\frac{{\sum }_{i=1}^k{s}_i}{{\sum }_{i=1}^n{s}_i}\ge 0.99(99\%)\text{\hspace{1em}(2)}$$
则表示保留了 $99\%$ 的差异性。

这种计算方式简便又高效，可以代替式子（1）。
只需要计算一次 SVD，然后逐渐增大 $k$ 值校验是否满足式子（2）即可。

一些使用建议

$?$?通常不在训练的时候用 PCA 来解决过拟合问题。请使用正则化。
$?$?开始的时候不要用 PCA，先用上所有的特征来学习。只在有必要的时候（算法运行太慢或者占用太多内存）才考虑采用 PCA。