什么是条件随机场？
Random指的隐藏状态随机变量Y和观测状态随机变量X。
Conditional指条件概率，所以CRF是一个判别式模型 (discriminative model)。而生成式模型则计算联合概率分布。
关于生成模型和判别模型，这里有比较形象的描述 机器学习面试之生成模型VS判别模型
隐马尔科夫模型HMM (生成模型)
以词性标注任务为例，给定一个观测序列即输入文本X，计算输出词性序列Y
P
(
Y
∣
X
)
=
P
(
X
∣
Y
)
?
P
(
Y
)
P
(
X
)
P
(
X
,
Y
)
=
P
(
X
∣
Y
)
P
(
Y
)
=
∏
i
=
1
n
P
(
x
i
∣
Y
)
?
P
(
Y
)
=
∏
i
=
1
n
P
(
x
i
∣
y
i
)
?
P
(
Y
)
=
∏
i
=
1
n
P
(
x
i
∣
y
i
)
?
P
(
y
i
∣
y
i
?
1
)
P(Y|X)=\frac{P(X|Y)*P(Y)}{P(X)}\\ P(X,Y)=P(X|Y)P(Y)\\ =\prod_{i=1}^{n}P(x_i|Y)*P(Y)\\ =\prod_{i=1}^{n}P(x_i|y_i)*P(Y)\\ =\prod_{i=1}^{n}P(x_i|y_i)*P(y_i|y_{i-1})
P(Y∣X)=P(X)P(X∣Y)?P(Y)?P(X,Y)=P(X∣Y)P(Y)=i=1∏n?P(xi?∣Y)?P(Y)=i=1∏n?P(xi?∣yi?)?P(Y)=i=1∏n?P(xi?∣yi?)?P(yi?∣yi?1?)
上述公式每一步对应一个假设
- 由输入词间的条件独立性得到
∏
i
=
1
n
P
(
x
i
∣
Y
)
\prod_{i=1}^{n}P(x_i|Y)
∏i=1n?P(xi?∣Y)
- 当前观测结果只与当前隐层状态有关
∏
i
=
1
n
P
(
x
i
∣
y
i
)
\prod_{i=1}^{n}P(x_i|y_i)
∏i=1n?P(xi?∣yi?)
- 马尔科夫假设，每一个隐层状态仅与上一个隐层状态有关
P
(
y
i
∣
y
i
?
1
)
P(y_i|y_{i-1})
P(yi?∣yi?1?)
CRF
待续
Advanced NLP: Conditional Random Fields
Introduction to Conditional Random Fields
如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
|