近似贝叶斯计算中的降维方法的比较研究

M. G. B. Blum, M. A. Nunes, D. Prangle and S. A. Sisson

总体介绍：

? ? ? ? 近似贝叶斯计算（ABC）方法利用模拟和观测汇总统计数据之间的比较来克服难以计算的似然函数问题。实现需要基于汇总统计向量的计算，而不是完整的数据集，因此一个核心问题是如何从观测数据中导出低维汇总统计，同时将信息损失降至最低。本文章介绍了降维方法，该方法分为三类，分别是最佳子集选择方法、投影技术和正则化。

????????似然函数：

$L(\theta |X) = f(X|\theta)$ ?,

通过样本变量X来提出修正θ（拟合参数）。然而似然函数很难计算且成本很高。因此提出模拟和观测汇总统计数据之间的比较。通过观测汇总的数据来模拟数据。

? ? ? ? 其中观测数据===>汇总统计数据的过程需要降维，要求为信息损失最低。因此有三种方法：①最佳子集选择：AIC、BIC...②投影技术③正则化：岭回归...。

背景引入：

? ? ? ? 贝叶斯推理：?P(θ|Yobs) ∝ P(Yobs|θ)P(θ)? ，后验?∝ 似然x先验。后验：观察到数据后模型θ服从的概率分布；似然：根据分布模型得到的数据相似程度；先验：按经验定义最初概率分布模型。其中： $\theta \in \Theta \subseteq \mathbb{R}^q$ , $Y_{obs} \in Y$ 。

? ? ? ? ABC中当似然函数不可计算，即P(Yobs|θ) 时。从近似后验分布中提取样本、生成样本，其中近似后验分布 有2种（步）近似方法。

近似后验分布两种方法：

????????第一步：对于完整数据集的后验分布 P(Yobs|θ) 。可通过改变? $Y_{obs} => S_{obs} = S(Y_{obs})$ ,将原数据Y转变成S，使之维度更低。但需要保证Sobs拥有较多信息，因此特殊情况下Sobs信息足够充分，那么? $P(\theta|S_{obs})=P(\theta|Y_{obs})$ 。但，如果P(Yobs|θ)很难计算，P(Sobs|θ)也可能很难计算。

? ? ? ? 第二步：近似? 有? $P_{ABC}(\theta|S_{obs})=\int P(\theta,s|S_{obs})\, ds$ ?，那么 $P(\theta,s|S_{obs})\propto K_\epsilon (\left \| s-S_{obs} \right \|)P(s|\theta)p(\theta)$ ,其中 $K_\epsilon (\left \| u \right \|) = K(\left \| u \right \| /\epsilon )/\epsilon$ ?是一个标准的平滑核，且 $\epsilon >0$ 。用 $P_{ABC}(\theta|Sobs)$ 来近似 $P(\theta|Sobs)$ ，已证明 $\epsilon$ 越小， $P_{ABC}$ 能够很好的近似

? ? ? ? 这两步：利用 $P_{ABC}$ 代替P(Yobs|θ) 的计算。降低了数据的维度；能应用核方法（因为平滑核受维度的影响），且替换了男计算的似然项。但两项必须做出权衡：①第一步Sobs维数较大，那么 $P(\theta|S_{obs})\approx P(\theta|Y_{obs})$ ,但是第二部步中 $K_\epsilon$ 会很差②方法一维数低，那么会近似很差，但二中? $K_\epsilon$ 会很好。?

因此本文章的降维主要针对第一步Sobs的降维。

近似后验分布的实现技术：

$P(\theta,s|S_{obs})\propto K_\epsilon (\left \| s-S_{obs} \right \|)P(s|\theta)p(\theta)$

三种降维方法：

?最佳子集统计：

穷举法：S=(S1,....,Sp) ,共 $2^P-1$ 次，但是可以通过优化方法进行优化。
充分性标准，（是否需要添加Sk）：逐步算法
1. ? ? ? ? ? ? ? 判断? $P(s_1,...,s_k|\theta) \sim P(s_1,...,s_{k-1}|\theta)$ 之间的差异性，进行对数似然函数比较
  
  ????????????????
  
  ? ? ? ? ? ? ? ? 其中 $\delta _k$ 为sk与(s1,...,sk-1)之间的相关性分数，若大于 $\varepsilon$
  
  则添加sk.
  
  ? ? ? ? ? ? ? ? 改进为?
  
  ? ? ? ? ?大于1，任意 $\theta$ ,则加入模型。
  
  ????????但是这种方法容易取得不好生成模型的特征，导致偏离后验分布，且计算量大。
熵准则：随机性缺乏，用自己最小化近似后验概率 $P_{ABC}(\theta|S_{obs})$ 的熵。低熵说明更精确
AIC和BIC

?

?