[人工智能]交叉熵损失函数 熵最小化进行标签预测

2021SC@SDUSC

相对熵

相对熵又称KL散度，用来描述两个概率分布的差异性。假设有对同一变量 x 的 q(x)和p(x)两个概率分布,那么两者之间的相对熵可由以下定义

?q(x)是预测的匹配分布，p(x)是目标分布，显然，目标分布p(x)表示事件，但因为使用预测分布，所以有了信息量的变化，这种变化叫相对熵。

信息熵

信息熵也被称为熵，用来表示所有信息量的期望。

所以信息量的熵可表示为如下公式：（X是一个离散型随机变量）

交叉熵

交叉熵是用来估算平均编码长度的。在深度学习中，可以看作通过概率分布q(x)表示概率分布p(x)的困难程度。其表达式为：

?

KL散度=交叉熵-信息熵?

?

?

?

?