数据科学你得知道的几种分布

一、泊松分布

1.背景

泊松分布是一种在随机时间空间中的概率分布

经典的应用场景有“一本书一页中的印刷错误”“某地区在一天内邮递遗失的信件数”“某一医院在一天内的急诊病人数”“某一地区一个时间间隔内发生的交通事故的次数”等

2.参数 $\lambda$

我们记事件A发生的速率，也就是平均单位时间内发生的事件A的数量为 $p_n$ ；记时间的长度为 $n$ 。

首先，在这里， $p_n$ 是一个统计量，它相对客观。首先，他是长时间内时间A发生的平均速率，它不一定也不会完全满足局部；其次，它相对稳定，一定程度上不随时间的进一步推移而改变
时间长度为 $n$ 是相当重要的一个量，在所谓“随机时间”空间中，我们对时间间隔的选择与度量深切的影响到最后的结果

得到 $p_n$ 与 $n$ ，我们将其相乘，得到今天的第一个主角：

记 $n*p_n= \lambda$ ,其中 $\lambda$ 表示长为 $n$ 的时间里，理论上，事件A发生的数目

参数 $\lambda$ 可以唯一确定一个泊松分布

3.随机变量的取值K

泊松分布的随机变量K是今天的第二个主角， $P (X = K)$ 表示实际上在时间间隔 $n$ 当中发生的事件A的数目等于K的概率，其中 $K = 1, 2, 3, . . .$

$K$ 与 $\lambda$ 之间有一个简单的换算。我们令 $K=t*\lambda$ ，那么 $P(X=t*\lambda)= P(X=t*n*p_n)$ 即 $P(X=tn*p_n)$

所以，时间间隔 $n$ 当中发生的事件A的数目等于K的概率，与时间间隔 $t ? n$ 当中发生的事件A的数目等于的概率 $p_n$ 相等

4. 期望与方差

泊松分布的期望与方差均为参数 $\lambda$

前者很好理解，期望本质上就是随机变量以概率为权重的加权平均。在所谓“随机时间空间中”，我们得到的事件发生的平均速率 $p_n$ 乘以时间间隔 $n$ ，就是时间间隔 $n$ 中平均发生的事件数，即期望
后者相对复杂。在所谓“随机时间空间中”，随着我们考虑的时间间隔 $n$ 的增加，随机的影响就越大，也就是随机变量离期望的偏离程度随之增加。如果将方差作为偏离程度的指标，我们会发现它与时间 $n$ 增长成正比，比值为 $P (X = K)$ ；与期望的增长，成1:1的态势

5. 分布率

当我们知道这个离散性随机变量满足期望与方差相同的概略分布后，我们可以确定这样一种分布律作为泊松分布的分布律

$P\{X=K\}=\cfrac{\lambda^ke^{-\lambda}}{k!},k=0,1,2,...,其中\lambda大于0是常数$

6. 泊松定理

设 $\lambda>0$ 是常数， $n$ 为任意正整数， $np_n= \lambda$ ，则对于任一固定的非负整数 $k$ ，有
$\displaystyle\lim_{n\rightarrow \infty}C_n^kp_n^k(1-p_n)^{n-k} =\cfrac{\lambda^ke^{-\lambda}}{k!}$

解释一下，其实当 $n$ 很大， $\lambda$ 又是常数时，则 $p_n$ 会很小（小于一）。这时，因为在“随机时间空间”中，我们可以将 $p_n$ 视为事件发生的概率。同时，忽略掉事件的排列，只关注事件数目的累积，我们可以近似的将泊松分布视为二项分布，即将单位时间内事件A视为一次伯努利试验，并将其独立重复n次。

数学上，也可以证明，它们时近似的。

二、卡方分布

若n个相互独立的随机变量 $X_1, X_2, X_3, ..., X_n$ 均服从标准正态分布，则这n个随机变量的平方和构成一个新的分布，其分布规律成为卡方分布

卡方检验

统计样本的实际观测值与理论推断值之间的偏离程度，即根据样本数据推断总体的频次与期望频次之间是否存在显著性差异

三、Beta分布

Beta分布是一种自适应的分布形式，也是概率的概率分布

背景

在一次棒球比赛中，棒球手A只击了一次球，并成功命中。我们不能草率的认为A击球的命中率为100%

在统计中，我们会考虑到先验的情况，即棒球手击球的命中率通常介于0.215～0.36。不妨设该棒球手的初始命中率为0.27左右，可假设为击球命中 $\alpha = 81$ 次，miss $\beta=219$ 次,并记为B（81，219）。此时，球手击球的概率是 $\frac{81}{81+219}$