[人工智能] 机器学习基础---降维方法---主成分分析（PCA）推导

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 机器学习基础---降维方法---主成分分析（PCA）推导 -> 正文阅读

[人工智能]机器学习基础---降维方法---主成分分析（PCA）推导

主成分分析 PCA

算法概述

核心思路：

最大化方差（最大可分性）:
- 直观来讲，PCA方法的目的是在原样本空间中找到m个方向，使原始样本点在这m个方向上的投影尽可能地分散，以此保证原始样本点在投影时不会出现多点投影到一点，进而导致较大信息损失的情况

2dim

如上图，投影到方差小的坐标轴方向会出现多对一的映射，原本可分的样本变得不可分，信息损失较大

同时，对于目标维度d>1的情况，为了尽可能表示更多的原始信息，希望各个基向量不存在线性相关性，即基向量相互正交

目标维度上方差最大化的思路可以用数学语言表示为：
$\underset {W}{argmax} = tr(W^TXX^TW)\\ s.t.\ W^TW=I$

就目标函数而言，基向量有正交限制，但如果不对基向量的模长进行限制，目标函数无上限，因此该目标函数需要对W进行单位正交限制
最小化重构误差：
- 此为PCA的另一种理解方式，即要求在通过 $Y = f (X)$ 降维之后，再通过 $X'=f^{-1}(Y)$ 恢复到原来的高维度，最小化 $X$ 与 $X^{'}$ 的距离（差距）
- 以线性变换为例，如：对 $Y=W^TX$ ，可以通过 $X'=WW^TX$ 进行恢复（重构）
- 最小化重构误差的数学表达：
  $\underset{W}{argmin}||X-WW^TX||_F^2 \\ s.t.\ W^TW=I$
两种思路的一致性：
- 对于最小化重构误差思路：
  $\begin{aligned} ||X-WW^TX||_F^2 &= tr[(X-WW^TX)(X-WW^TX)^T]\\ &=tr(XX^T-XX^TWW^T-WW^TXX^T+WW^TXX^TWW^T)\\ &=tr(\sum)-tr(W^TXX^TW^)-tr(W^TXX^TW)+tr(W^TXX^TW)\\ &=tr(\sum)-tr(W^TXX^TW) \end{aligned}$
  由于协方差阵确定，最小化重构误差即为最大化 $tr(W^TXX^TW)$ ，即为最大化方差

算法推导

矩阵形式目标函数最优化：

以最大化方差为优化目标：
$目标：\underset {W}{arg\ max} \ \ tr(W^T\sum W)\ \ \ s.t.\ W^TW=I\\ 对有约束最优化问题，由拉格朗日乘子法，得：\ tr(W^T\sum W)-tr(\Lambda(W^TW-I)) \\ 求导并令值为0，得: \ 2\sum W-2W\Lambda=0 \\ 即：\sum W=W\Lambda \\$

证明一：变换矩阵W中的列向量为协方差矩阵 $\sum$ 的特征向量
$\underset{d*m}W=[p_1,p_2,...,p_m]\\ \\ \sum_{d*d}=XX^T=\left[ \begin{matrix} Cov(a_1,a_1) & Cov(a_1,a_2) & ... & Cov(a_1,a_d)\\ Cov(a_2,a_1) & Cov(a_2,a_2) & ... & Cov(a_2,a_d)\\ ... & ... & ... & ...\\ Cov(a_d,a_1) & Cov(a_d,a_2) & ... & Cov(a_d,a_d) \end{matrix} \right]$
$\underset{d*m}{\sum W}= [\sum p_1,\sum p_2,...,\sum p_m] \underset {m*m}\Lambda=\left[ \begin{matrix} \lambda_1 & 0 & ... & 0 \\ 0 & \lambda_2 & ... & 0\\ ... & ... & ... & ...\\ 0 & 0 & ... & \lambda_m \end{matrix} \right ]$
$\underset {d*m}{W\Lambda}=[\lambda_1p_1, \lambda_2p_2,...,\lambda_mp_m]$
由等式可得：

$\sum W = W\Lambda \\ [\sum p_1,\sum p_2,...,\sum p_m] = [\lambda_1p_1, \lambda_2p_2,...,\lambda_mp_m]$
即得到等式组：
$\left \{ \begin{aligned} \sum p_1&=\lambda_1p_1\\ \sum p_2&=\lambda_1p_2\\ ...\\ \sum p_m&=\lambda_1p_m \end{aligned} \right.$