主成分分析(PCA Model, PM)

PCA是一种统计方法，广泛应用于工程和科学应用中，与傅里叶分析相比，尤其适用于质量监测。

设 $\boldsymbol{x} \in \mathfrak{R}^{m}$ 表示 $m$ 个传感器矢量的样本测量值。

假设每个传感器有 $N$ 个样本，数据矩阵 $\mathbf{X}=\left[\begin{array}{llll} \boldsymbol{x}_{1} & \boldsymbol{x}_{2} & \cdots & \boldsymbol{x}_{N} \end{array}\right]^{T} \in \mathfrak{R}^{N \times m}$ ，由代表样本 $x^T_i$ 的每一行组成。

正常数据矩阵 $X$ 的一个重要要求是，它应具有丰富的正常变化，以代表过程的共同原因变化。矩阵 $X$ 被缩放为零均值，通常为PCA建模的单位方差。矩阵 $X$ 通过奇异值分解（SVD）分解为得分矩阵 $T$ 和加载矩阵 $P$ ，
$\mathbf{X}=\mathbf{T P}^{T}+\tilde{\mathbf{X}}\tag{1}$

其中 $T = X P$ 包含 $l$ 个左前导奇异向量和奇异值，P 包含 $l$ 个右前导奇异向量， $\tilde{\mathbf{X}}$ 是残差矩阵。因此，T 的列是正交的，P 的列是正交的。将样本协方差矩阵表示为
$\mathbf{S}=\frac{1}{N-1} \mathbf{X}^{T} \mathbf{X}\tag{2}$

作为SVD的替代方法，可以对 S 进行特征分解，以获得 P 作为 S 的 $l$ 个前导特征向量，特征值表示为

$\mathbf{\Lambda}=\operatorname{diag}\left\{\lambda_{1}, \lambda_{2}, \ldots, \lambda_{l}\right\}\tag{3}$
第 $i$ 个特征值可与得分矩阵 T 的第 $i$ 列相关，如下所示：
$\lambda_{i}=\frac{1}{N-1} \mathbf{t}_{i}^{T} \mathbf{t}_{i} \approx \operatorname{var}\left\{\mathbf{t}_{i}\right\}\tag{4}$

这是第 $i$ 个得分向量 $\mathbf{t}_{i} \in \mathfrak{R}^{N}$ 的样本方差。主成分子空间（PCS）是 $\mathcal{S}_{p}=\operatorname{span}\{\mathbf{P}\}$ ，剩余子空间（RS） $S_r$ 是 $S_p$ 的正交补。将测量空间划分为PCS和RS，使得RS仅包含微小的奇异值，这些奇异值对应于通常具有较小变化的子空间，或者主要是噪声的子空间。因此，残差类似于根据质量平衡和能量平衡建立的数学模型中的方程误差。

样本向量 $\mathbf{x} \in \mathfrak{R}^{m}$ 可以分别投影到PCS和RS上，

$\hat{\boldsymbol{x}}=\mathbf{P} \boldsymbol{t}=\mathbf{P P}^{T} \boldsymbol{x} \in \mathcal{S}_{p}\tag{5}$

其中，

$\boldsymbol{t}=\mathbf{P}^{T} \boldsymbol{x} \in \mathfrak{R}^{l}\tag{6}$

为 $l$ 个潜在变量得分的向量。

残差向量：

$\tilde{\boldsymbol{x}}=\boldsymbol{x}-\hat{\boldsymbol{x}}=\left(\mathbf{I}-\mathbf{P P}^{T}\right) \boldsymbol{x} \in \mathcal{S}_{r}\tag{7}$

因为 $S_p$ 和 $S_r$ 是正交的，

$\hat{\boldsymbol{x}}^{T} \tilde{\boldsymbol{x}}=0\tag{8}$

且

$\boldsymbol{x}=\hat{\boldsymbol{x}}+\tilde{\boldsymbol{x}}\tag{9}$

其中，一个重要的概念是，数据的PCA模型， $\hat{\boldsymbol{x}}$ 由潜变量 $\mathbf{t} \in \mathfrak{R}^{m}$ 参数化。

动态主成分分析(Dynamic PCA Models, DPM）

同样的PCA分解可以扩展到表示时间相关的动态过程数据，通过传递函数矩阵提取与测量向量相关的潜在变量。在潜变量建模中，测量变量不分为输入变量和输出变量。

相反，所有变量都与许多潜在变量相关，以表示它们的相关性。

设 $z_k$ 时间 $k$ 时所有的变量的集合。

扩展变量向量可以定义为

$\boldsymbol{x}_{k}^{T}=\left[\boldsymbol{z}_{k}^{T} \mathbf{z}_{k-1}^{T} \cdots \boldsymbol{z}_{k-d}^{T}\right]\tag{9}$

PCA潜在变量得分可根据（5）计算，如下所示：
$\mathbf{t}_{k}=\mathbf{P}^{T}\left[\mathbf{z}_{k}^{T} \mathbf{z}_{k-1}^{T} \cdots \mathbf{z}_{k-d}^{T}\right]^{T}\tag{10}$

根据（10）将 $P$ 划分为 $d + 1$ 块

$\mathbf{P}^{T}=\left[\begin{array}{llll} \mathbf{P}_{0}^{T} & \mathbf{P}_{1}^{T} & \cdots & \mathbf{P}_{\mathrm{d}}^{T} \end{array}\right]\tag{11}$

由（10）可以用传递矩阵的形式表示，
$\boldsymbol{t}_{k}=\sum_{i=0}^{d} \mathbf{P}_{i}^{T} \boldsymbol{z}_{k-i} \equiv A\left(q^{-1}\right) \boldsymbol{z}_{k}\tag{12}$

其中， $A\left(q^{-1}\right)=\sum_{i=0}^{d} \mathbf{P}_{i}^{T} \boldsymbol{q}^{-i}$ 是矩阵多项式， $\boldsymbol{q}^{-i}$ 是后移算子。等式（12）表明，潜在变量是过去数据的线性组合，其降序方差最大。这个概念类似于卡尔曼滤波器状态向量。投影（4）包含测量的滤波或平滑估计。