|
lda2vec 是 word2vec 和 LDA 的扩展，它共同学习单词、文档和主题向量。lda2vec 专门在 word2vec 的 skip-gram 模型基础上建模，以生成单词向量。skip-gram 和 word2vec 本质上就是一个神经网络，通过利用输入单词预测周围上下文词语的方法来学习词嵌入。
通过使用 lda2vec，我们不直接用单词向量来预测上下文单词，而是使用上下文向量来进行预测。该上下文向量被创建为两个其它向量的总和：单词向量和文档向量。
单词向量由前面讨论过的 skip-gram word2vec 模型生成。而文档向量更有趣，它实际上是下列两个组件的加权组合：
- 文档权重向量，表示文档中每个主题的「权重」（稍后将转换为百分比）
- 主题矩阵，表示每个主题及其相应向量嵌入
文档向量和单词向量协同起来，在输入-隐藏层过程中为文档中的每个单词生成「上下文」向量。lda2vec 的强大之处在于，它不仅能学习单词的词嵌入（和上下文向量嵌入），还同时学习主题表征和文档表征。
- LDA2vec介绍原博客地址：https://multithreaded.stitchfix.com/blog/2016/05/27/lda2vec/#topic=38&lambda=1&term=
- 代码地址：https://github.com/cemoody/lda2vec
- LSA、PSLA、LDA和lda2vec进行主题建模区别描述文章地址：
https://www.sohu.com/a/234584362_129720
|