[人工智能] 数学基础

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 数学基础_4——信息论 -> 正文阅读

[人工智能]数学基础_4——信息论

本篇博客不包含深度学习中所有的数学知识，只是我在学习过程中，对不会或者不熟悉的数学知识的记录，因此部分内容和推导我会省略掉。

自信息

任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是它们承载的信息量会有所不同。

如昨天下雨这个已知事件，因为已经发生，既定事实，那么它的信息量就为0。如明天会下雨这个事件，因为未有发生，那么这个事件的信息量就大。

从上面例子可以看出信息量是一个与事件发生概率相关的概念，而且可以得出，事件发生的概率越小，其信息量越大。

定义事件 $X = x$ 的自信息为
$I\left(x\right)=-\log_2 P\left(x\right)$

香农熵(Shannon Entropy)

当一个事件发生的概率为 $p\left(x\right)$ ，那么它的信息量是 $-\log{p\left(x\right)}$

如果把这个事件的所有可能性罗列出来，就可以求得该事件信息量的期望

信息量的期望就是熵，所以熵的公式为
$H\left(\mathrm{x}\right)=\mathbb{E}_{\mathrm{x}\sim P}\left[I\left(x\right)\right]=-\mathbb{E}_{\mathrm{x}\sim P}\left[\log{P\left(x\right)}\right]$
也可以表述为
$H\left(\mathrm{x}\right)=-\sum_{i=1}^{n}p\left(x_i\right)\log{p\left(x_i\right)}$
对于 0-1 分布问题，熵的计算可以简化为
$H\left(\mathrm{x}\right)=-p\left(x\right)\log{\left(p\left(x\right)\right)}-\left(1-p\left(x\right)\right)\log\left(1-p\left(x\right)\right)$

相对熵(KL 散度)(Kullback-Leibler divergence)

对于同一个随机变量 $\mathbf{x}$ ，如果其有两个单独的概率分布 $P(\mathbf{x})$ 和 $Q(\mathbf{x})$ ，可以使用 KL 散度来衡量这两个分布的差异。KL 散度越小，真实分布与近似分布之间的匹配就越好。
$D_{\mathrm{KL}}(P \| Q)=\mathbb{E}_{\mathrm{x} \sim P}\left[\log \frac{P(x)}{Q(x)}\right]=\mathbb{E}_{\mathrm{x} \sim P}[\log P(x)-\log Q(x)]$
在机器学习中， $P$ 往往用来表示样本的真实分布， $Q$ 用来表示模型所预测的分布，那么 KL 散度就可以计算两个分布的差异，也就是 Loss
$D_{KL}(P\|Q)=\sum_{i=1}^n{P(x_i)\log{\frac{P(x_i)}{Q(x_i)}}}$
因为 KL 散度是非负的并且衡量的是两个分布之间的差异，它经常被用作分布之间的某种距离

然而，它并不是真的距离因为它不是对称的：对于某些 $P$ 和 $Q$ ， $D_{KL}(P\|Q)\ne D_{KL}(Q\|P)$ 。

这种非对称性意味着选择 $D_{KL}(P\|Q)$ 还是 $D_{KL}(Q\|P)$ 影响很大。

对于 KL 散度的直观解释可以看这篇文章：初学机器学习：直观解读KL散度的数学概念

如何证明 KL 散度大于等于 $0$ (未解决)

交叉熵(Cross Entropy)

两个分布 $P$ 和 $Q$ 之间的交叉熵定义为：
$H\left(P,Q\right)=-\mathbb{E}_{x\sim P}\log{Q\left(x\right)}$

将 KL 散度公式变形：
$D_{\mathrm{KL}}(P \| Q)=\mathbb{E}_{\mathrm{x} \sim P}[\log P(x)-\log Q(x)]$
$D_{\mathrm{KL}}(P \| Q)=\mathbb{E}_{\mathrm{x}\sim{P}}[\log{P(x)}]-\mathbb{E}_{\mathrm{x}\sim{P}}[\log{Q(x)}]$
$D_{\mathrm{KL}}(P \| Q)=-H(P)-\mathbb{E}_{\mathbf{x}\sim P}[\log Q(x)]$
$D_{\mathrm{KL}}(P \| Q)=-H(P)+H(P,Q)$