[人工智能] Read-LDA

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> Read-LDA -> 正文阅读

[人工智能]Read-LDA

作者:recommend-item-box type_blog clearfix

Unigram Model

Game 9 Unigram Model

上帝 只有一个骰子 ，这个骰子有V个面，每个面对应一个词、各个面的概率不一
每抛一次骰子，抛的面就对应一个词的产生；如果一篇文档有n个词，上帝就独立地抛n次骰子产生n个词

变量： $\overset{\rightarrow}{p}=(p_1,p_2,...,p_V)$ ,样本：语料 $\mathscr{W}$

各个面的概率 $\overset{\rightarrow}{p}=(p_1,p_2,...,p_V)$ 抛骰子过程多项分布 $\sim Multi(w \vert \overset{\rightarrow}{p})$

对于一篇文档 $d=\overset{\rightarrow}{w}=(w_1,w_2,....,w_n)$ ,故而该文档产生的概率为：
$p(\overset{\rightarrow}{w})=\prod_{i=1}^n{p(w_i)}$

$p(w_i)$ 第i个词 $w_i$ 出现一次的概率

语料库中包含m篇文档 $\mathscr{W}=(\overset{\rightarrow}{w_1},\overset{\rightarrow}{w_2},...,\overset{\rightarrow}{w_m})$ 对应的语料概率为：
$p(\mathscr{W})=\prod_{i=1}^{m}{p(\overset{\rightarrow}{w_i})}$

在Unigram Model中，假设文档之间是独立的，文档之间的词也是独立的，词袋模型（Bag of words）

故上述问题可进行简化：
统计整个语料共有V个词，其中第i词 $w_i$ 的词频 $n_i$ ( $\in(1,V),\sum_{i=1}^{V}n_i=N$ ),整个语料库就是一个多项分布模型：
即 $\overset{\rightarrow}{n}=(n_1,n_2,...,n_k)$ 恰是一个多项分布：
$p(\overset{\rightarrow}{n})=Multi(\overset{\rightarrow}{n} \vert \overset{\rightarrow}{p},N)=\binom{N}{\overset{\rightarrow}{n}}\prod_{j=1}^{V}{p_j^{n_j}}$

$p(\mathscr{W})=\prod_{i=1}^{m}{p(\overset{\rightarrow}{w_i})}=\binom{N}{\overset{\rightarrow}{n}}\prod_{j=1}^{V}{p_j^{n_j}}$

统计学派：
$\hat{p_i}=\frac {n_i}{N}$

Problem:贝叶斯学派认为只有一个骰子的设定不合理，即参数也符合一个分布

Game 10 贝叶斯Unigram Model假设

上帝有一个装有 无穷多个骰子 的坛子，里面有各式各样的骰子，每个骰子有V个面
上帝从坛子中抽取一个骰子出来， 然后用这一个骰子不断地抛，然后产生了语料中的所有词

限制放宽：多个骰子但只有V个面的骰子，而且只用其中一个骰子

先验： $\overset{\rightarrow}{\alpha}$ ,Dirichlet更新参数: $\overset{\rightarrow}{\rho}$

选中骰子各面抛出的概率服从先验 $\overset{\rightarrow}{\rho} \sim q(\overset{\rightarrow}{\rho})$ ，因此语料的分布概率：

$p(\mathscr{W})=\int p(\mathscr{W} \vert \overset{\rightarrow}{\rho})q(\overset{\rightarrow}{\rho})d\overset{\rightarrow}{\rho}$

$p(\overset{\rightarrow}{n})=Multi(\overset{\rightarrow}{n} \vert \overset{\rightarrow}{\rho},N)$

假设此处 $\overset{\rightarrow}{\rho} \sim q(\overset{\rightarrow}{\rho})=Dir(\overset{\rightarrow}{\alpha})$ ,其中 $\alpha_i$ 为被选中骰子抛出第i面的概率。

$Dir(\overset{\rightarrow}{\rho} \vert \overset{\rightarrow}{\alpha})= \frac {1}{\Delta(\overset{\rightarrow}{\alpha})} \prod_{k=1}^{V}\rho_k^{\alpha_{k}-1}$

$\Delta(\overset{\rightarrow}{\alpha})=\int{\prod_{k=1}^V{\rho_k^{\alpha_k-1}}}d\overset{\rightarrow}{\rho}$

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Mb9nc07C-1634396240841)(./img/UnigramModel的概率图模型.png)]

语料词频： $\overset {\rightarrow}{n}$

$p(\overset{\rightarrow}{\rho} \vert \mathscr{W}, \overset{\rightarrow}{\alpha})=Dir(\overset{\rightarrow}{\rho} \vert\overset{\rightarrow}{\alpha} + \overset{\rightarrow}{n})$

故：
$E(\overset{\rightarrow}{\rho})=(\frac {n_i+\alpha_i}{\sum_{j=1}^V(n_j+\alpha_j)})_{i=1}^V$
语料产生的概率：

$\begin{aligned} p(\mathscr{W} \vert \overset{\rightarrow}{\alpha}) &= \int p(\mathscr{W} \vert \overset{\rightarrow}{\rho},\overset{\rightarrow}{\alpha})d\overset{\rightarrow}{\rho}\\ &=\int p(\mathscr{W} \vert \overset{\rightarrow}{\rho}) p(\overset{\rightarrow}{\rho} \vert \overset{\rightarrow}{\alpha}) d\overset{\rightarrow}{\rho}\\ &=\int \prod_{k=1}^V{\rho_k^{n_k}Dir(\overset{\rightarrow}{p}\vert \overset{\rightarrow}{\alpha})}d \overset{\rightarrow}{\rho}\\ &=\int \prod_{k=1}^V{\rho_k^{n_k} \frac 1 {\Delta(\overset{\rightarrow}{\alpha})} \prod_{j=1}^V \rho_j^{\alpha_j-1}}d \overset{\rightarrow}{\rho}\\ &=\frac 1 {\Delta(\overset{\rightarrow}{\alpha})} \int \prod_{k=1}^V{\rho_k^{n_k+\alpha_k-1}} d \overset{\rightarrow}{\rho}\\ &=\frac {\Delta(\overset{\rightarrow}{\alpha}+\overset{\rightarrow}{n})} {\Delta(\overset{\rightarrow}{\alpha})} \end{aligned}$

结合PLSA(Probabilistic Latent Semantic Analysis)模型，一篇文档对应主题分布，一个主题对应词分布

Game 11 PLSA Topic Model

上帝有两种类型的骰子，一类是doc-topic骰子，每个doc-topic骰子有K个面每个面对应一个topic编号;另一类是topic-word骰子，每个topic-word骰子有V个面，每个面对应一个词
上帝 一共有K个topic-word骰子 ，每个骰子有一个编号，编号1,2，…,K
生成每篇文档之前，上帝都会先为这片文章制造 一个特定的doc-topic骰子 ，然后重复一下过程，生成每个文档中的单词
- 投掷这个doc-topic骰子，得到一个topic编号z
- 选择K各topic-word骰子中编号为z的那个，投掷这个骰子，于是得到一个词

该规则下，文档之间是独立的，词之间也是独立地，还是一个词袋模型

K个topic-word骰子，对应的 $\varphi_1,\varphi_2,...,\varphi_K$ 为每个主题的词概率分布
对于包含M篇文档的语料 $C=(d_1,d_2,...,d_M)$ 中每篇文档 $d_m$ 都会有一个特定的 doc-topic骰子 $\theta_m$ 为当前文档的主题概率分布

对于文档 $d_m$ 下某个词的生成概率:
$p(w\vert d_m)=\sum_{z=1}^K{p(w\vert z) p(z \vert d_m)}=\sum_{z=1}^K{\varphi_{zw}\theta_{mz}}$

对于文档 $d_m$ 的概率:
$\vert d_m)=\prod_{i=1}^{n_{d_m}}\sum_{z=1}^K{p(w_i\vert z) p(z \vert d_m)}=\prod_{i=1}^{n_{d_m}}\sum_{z=1}^K{\varphi_{zw_i}\theta_{mz}}$

对于语料C的概率：
$p(C)=\prod_{m=1}^{M}{p(w\vert d_m)}$

贝叶斯Problem：doc-topic骰子 $\theta_m$ 和 topic-word骰子 $\varphi_k$ 都是模型的参数，参数为随机变量也要服从一个先验分布

LDA Topic Model

上帝有两个坛子，第一个毯子撞的是doc-topic骰子，第二个坛子装的是topic-word骰子
上帝随机的 从第二个坛子中独立地抽取K个topic-word骰子 ，编号为1,2，…,K
生成每篇文档之前，上帝都会现 从第一个坛子中随机抽取一个doc-topic骰子 ，然后重复一下过程，生成每个文档中的单词
- 投掷这个doc-topic骰子，得到一个topic编号z
- 选择K各topic-word骰子中编号为z的那个，投掷这个骰子，于是得到一个词

假设语料库中有M篇文档，所有的word和对应的topic如下：
$W=(w_1,w_2,...,w_M)\\Z=(z_1,z_2,...,z_M)$

$w_m$ 第m篇文档中的所有词， $z_m$ 第m篇文档对应的所有主题
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Pdwo8R8B-1634396240843)(./img/语料生成过程中的word和topic.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v2chys0c-1634396240845)(./img/LDA图模型.png)]

$\alpha,\beta$ 为先验分布，选择Dirichlet分布

概率图：

$\overset{\rightarrow}{\alpha}\rightarrow \overset{\rightarrow}{\theta_m}\rightarrow z_{m,n}$ :生成第m篇文档时，现从第一个坛子中抽取一个doc-topic骰子 $\overset{\rightarrow}{\theta_m}$ ，然后投掷该骰子生成该文档第n个词对应的主题编号 $z_{m,n}$
$\overset{\rightarrow}{\beta}\rightarrow \overset{\rightarrow}{\varphi_k}\rightarrow w_{m,n} \vert k=z_{m,n}$ : 生成第m篇中的第n个词：在K个topic-word骰子中选取编号为 $k=z_{m,n}$ ,投掷生成词 $w_{m,n}$

Dirichlet-Multinomial共轭结构：
生成第m篇文档时所有词对应的主题
$\overset{\rightarrow}{\alpha}\rightarrow \overset{\rightarrow}{\theta_m}\rightarrow \overset{\rightarrow}{z_{m}}$

$p(\overset{\rightarrow}{z_{m}}\vert \overset{\rightarrow}{\alpha})=\frac {\Delta(\overset{\rightarrow}{\alpha}+\overset{\rightarrow}{n_m})} {\Delta(\overset{\rightarrow}{\alpha})}$

$\overset{\rightarrow}{n_m}=(n_m^{(1)},n_m^{(2)},.....,n_m^{(K)})$ 表示第m篇文档中第k个topic产生的词的个数。

$\overset{\rightarrow}{\theta_m}\sim Dir(\overset{\rightarrow}{\theta_m}\vert \overset{\rightarrow}{n_m},\overset{\rightarrow}{\alpha})$

M篇文档生成相互独立，因此共有M个Dirichlet-Multinomial共轭结构.

在当前规则下，每处理完成一篇文档之后，再处理下一篇文档。文档中的每个词的生成都要抛取两次。如果语料中共有N个词，那么上帝需要抛2N次，轮换的进行doc-topic和topic-word骰子。

基于文档之间，词之间的独立性。
实际上，我们可以前N次只抛doc-topic骰子得到语料中所有词的topic，然后基于topic再抛N次topic-word模型生成N个词

LDA Topic Model 2 (等价)

上帝有两个坛子，第一个毯子撞的是doc-topic骰子，第二个坛子装的是topic-word骰子
上帝随机的 从第二个坛子中独立地抽取K个topic-word骰子 ，编号为1,2，…,K
生成每篇文档之前，上帝都会现 从第一个坛子中随机抽取一个doc-topic骰子 ，然后重复投掷这个doc-topic骰子，为每个词生成一个topic编号
按照生成的topic编号，从K个topic-word骰子中选取编号为 $z_{current}$ 的那个，投掷这个骰子，于是得到当前词