背景
使用熵信息和概率，通过熵信息提高左右邻字丰富程度，通过概率提高内部凝聚程度。
为什么考虑左右邻丰富程度
其中W_neighbor为字符组合左/右邻字的集合。 举个例子，同样是在文本中出现6000+次的“副总裁”和“人工智”，字符组合的左熵都在6左右，但“副总裁”的右邻字包括 { 张,王,说, … } 等147个词，而“人工智”的右邻字只有 { 能,障 } 两种，显然“人工智”不能称作一个词。可以看算法模型中的图。所以说，并不是左右邻字越丰富，就越可以看做是一个词。
为什么考虑内部凝聚程度
比如“演唱者”出现117次，“的演唱”出现275次，从出现频数来看，“的演唱”更像是一个词。但是实际来向演唱者才是一个词。因此考虑每一个字的概率，加入互信息中，得到最终的结果。
为什么需要同时考虑左熵(LE)和右熵(RE)
因此我们在度量一个字符组合的左右邻字丰富程度时，也要注意到LE和RE的差距。比如取二者的最小值，或者将LE与RE差的绝对值(|LE-RE|)纳入考虑范围。
模型
（1）首先得到ngram，例如bi-gram， tri-gram，得到n-gram后，可以依据频率做一个划分，频率较高的词拿出来当作目标词进行考虑， 相当于是bi(两个词)， tri(三个词)， n-gram(n个词)，计算概率是可以在这些词中进行计算。
(2) 计算左熵和右熵（我觉得这里可以先依据停用词做一个划分），左熵和右熵要同时考虑。计算熵时，例如目标词“资源”（2-gram），然后在（3-gram）中，找资源的左邻字和，右邻字。这里在查找过程中，使用字典树（前缀树）的算法。
计算熵：构建好字典树之后，就可以计算左熵和右熵。计算完左熵和右熵之后，通过公式进行融合计算。
求右熵：目标词：人工智，然后求人工智的熵，通过熵，我们计算关于人工智能，人工智障出现的和，反映信息的度量。
2表示的基。第一个表示在“”人工智"前提下不同字的熵和。
上述这一块可以反应出，为什么使用熵可以反应出这个信息。数量越多，熵值是越大的，即拥有丰富的邻字信息。
（3）计算互信息
（4）熵与互信息的融合
左右邻丰富度：
L
(
W
)
=
log
?
L
E
?
e
R
E
+
R
E
?
e
L
E
∣
L
E
?
R
E
∣
L(W)=\log \frac{L E \cdot e^{R E}+R E \cdot e^{L E}}{|L E-R E|}
L(W)=log∣LE?RE∣LE?eRE+RE?eLE?
词的凝聚度：
A
M
I
=
1
n
log
?
p
(
W
)
p
(
c
1
)
?
p
(
c
n
)
A M I=\frac{1}{n} \log \frac{p(W)}{p\left(c_{1}\right) \cdots p\left(c_{n}\right)}
AMI=n1?logp(c1?)?p(cn?)p(W)?
融合后：
?score?
=
A
M
I
+
L
(
W
)
\text { score }=A M I+L(W)
?score?=AMI+L(W)
附录
信息熵
互信息
互信息被用来描述词的内聚程度
相关参考资料
开源讲解链接：https://zhuanlan.zhihu.com/p/80385615
https://baike.baidu.com/item/%E4%BA%92%E4%BF%A1%E6%81%AF/7423853?fr=aladdin （百度百科互信息）
