????????概率论和统计学是数据科学的基本支柱，机器学习和人工智能的底层原理也无非就是概率论和统计学和线性代数。要想在这些领域有所作为，对它们背后的数学原理有一些深入的理解是必要条件。本系列将从实用的角度来一个关于概率论和统计学的飞掠之旅（也就是说不会太纠结于繁琐的概念描述、数学推导和定理证明，一切以实用为指导原则），特别地，借助于python中的scipy.stats模块进行一些编程实验，帮助获得一些直观认识，这些编程实验本身也是实际应用中经常需要用到的技巧。

????????首先，我们要先了解一些基本概念。

1. 随机变量

1.1 随机事件

????????随机试验（random experiment）是概率论中的一个重要术语，它包含以下特点：

????????(1) 可以在相同条件下重复进行

????????(2) 每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果

????????(3) 进行一次试验之前不能确定哪一个结果会出现

????????随机试验𝐸?的所有可能结果组成的集合，称为样本空间，记为𝑆?；样本空间𝑆中的每一个结果称为样本点，记为𝑒。样本空间的子集称为随机事件，用大写字母表示，比如 $A\subset S$ ，每一个样本点𝑒当然也是样本空间的一个子集，所以也是一个随机事件，称为基本事件。

????????比如掷一个六面体的骰子是一个典型的随机试验，其样本空间是：𝑆=1,2,3,4,5,6

????????其中“3”表示3点朝上，是一个样本点，也是一个随机事件。

1.2 概率

????????虽然随机试验的每一次试验的结果是无法预先知道的，但是，当试验的次数足够多的时候，直感告诉我们比如说在以上掷骰子试验中，1,2,3,4,5,6出现的次数应该是基本相同（假设骰子是公正的）的。因为骰子的6个面没有哪个是特殊的，所以它们出现的次数应该大抵相同！这里涉及到所谓的等可能概型的概念（这可以参考Ref1的解释）。用概率论的语言来说就是每个点数出现的概率都是1/6.

????????概率的定义：设?𝐸是随机试验，?𝑆是它的样本空间。对于?𝐸?的每一事件?𝐴?赋予一个实数，记为𝑃(𝐴)，称为事件?𝐴?的概率，如果集合函数?𝑃(?)?满足如下条件：

????????(1) 非负性：对于每一个事件?𝐴?，有?0≤𝑃(𝐴)≤1

????????(2) 规范性：对于必然事件?𝑆?，有?𝑃(𝑆)=1

????????(3) 可列可加性：设?𝐴1,𝐴2,...A1,A2,...是两两互斥的事件，有𝑃(𝐴1∪𝐴2...)=𝑃(𝐴1)+𝑃(𝐴2)+...

????????相关概念：等可能概型，古典概型，频数，频率，概率，大数定律...

1.2 随机变量

????????随机变量（random variable）表示随机现象或者随机试验的各种可能结果的实值单值函数。注意，随机变量虽然名为变量，其实质上是一个函数！也就是如前所述的将随机事件映射为某个数值的实值单值函数，其定义如下：

????????设随机试验的样本空间为𝑆=𝑒.?𝑋=𝑋(𝑒)是定义在样本空间S上的实值单值函数，称X为随机变量。

????????随机事件不论与数量是否直接有关，都可以数量化，即都能用数量化的方式表达。随机事件数量化的好处是可以用数学分析的方法来研究随机现象。例如某一时间内公共汽车站等车乘客人数，电话交换台在一定时间内收到的呼叫次数，灯泡的寿命等等，都是随机变量的实例。

????????根据随机变量的所有可能取的值，可以把它们分为两种基本类型：离散随机变量和连续随机变量.

1.3 离散随机变量

????????离散型（discrete）随机变量是指在取值范围内的变量的可能取值为有限个或可数个。例如某地区某年人口的出生数、死亡数，某药治疗某病病人的有效数、无效数，扔N次硬币中得到k次正面朝上的次数，扔一个骰子所得到的点数等等。

1.4 连续随机变量

????????连续型（continuous）随机变量即在一定区间内变量取值有无限个，或数值无法一一列举出来。例如某地区男性健康成人的身长值、体重值，一批传染性肝炎患者的血清转氨酶测定值等。

1.5 随机变量的概率分布

????????笼统地说，随机变量的概率分布反映的就是随机变量取不同可能的值的概率，可简称为概率函数，详细参见下一节。

????????需要注意的是，在有些术语方面不同的书中不尽相同。比如说Ref1中没有出现过概率质量函数这个词，而是用分布律替代。又比如，Ref1中用分布函数来指代累积分布函数(CDF)，等等（若干年前第一次学习概率论用的教材就是Ref1，但是若干年后回头来看至少对“分布函数”这个提法不是很认同^-^）。

????????离散型随机变量遵循的概率分布称为离散概率分布，典型的有伯努利分布、二项分布、几何分布和泊松分布等等。

????????连续型随机变量遵循的概率分布称为连续概率分布，典型的有均匀分布、正态（高斯）分布、伽马分布、指数分布等等。

2. 概率函数

????????概率函数(probability function)是用以刻画随机变量的最基本的概率特性的函数。离散随机变量和连续随机变量的概率函数的表现形式略有不同。

????????离散随机变量的最基本的概率函数称为概率质量函数（PMF: Probability Mass Functions）,连续随机变量的最基本的概率函数称为概率密度函数（PMF: Probability Mass Functions）。

????????除了PMF和PDF还有其它一些常见的概率函数，如累积分布函数(CDF: Cumulative Distribution Function)，百分点函数(PPF, Percent Point Function)，风险函数(Hazard Function)，生存函数(Survial Function)等等

2.1 概率质量函数?

????????离散随机变量的概率函数称为概率质量函数（PMF)记为𝑝(𝑥)，是满足以下性质的函数：

????????(1) p(x)表示随机变量X取值为x的概率，即𝑝(𝑥)=𝑃𝑟𝑜𝑏[=𝑥]=𝑃𝑟[𝑋=𝑥]=𝑃[𝑋=𝑥]. 三种表示概率的方法都可以，最后一个最简单常见。但是要注意的一点，通常用方括号[]而不是圆括号()表示概率

????????(2) p(x)为非负实数

????????(3) 对所有可能的x进行针对p(x)的求和结果为1，即 $\sum\limits_{x\in\Omega}p(x) = 1$ ,Ω表示X的所有可能取值集合

????????由(2)和(3)可以很容易地推出0<=𝑝(𝑥)<=1.

2.2 概率密度函数

????????连续随机变量的概率函数称为概率密度函数(PDF)记为𝑓(𝑥)(注意，当然也可以记为𝑝(𝑥)，或其它任何符号，只要从上文保持一致且能根据上下文正确地分辨即可)，是满足以下性质的函数：

????????(1) 随机变量取值在a和b两点之间的概率为： $P[a \leq x \leq b] = \int_a^b f(x)dx$

????????(2)?𝑓(𝑥)>=0对所有x成立

????????(3)? $\int_{-\infty}^{\infty} f(x)dx = 1$

????????由于连续随机变量可以取（一定区间内的）任意值，因此从数学的角度来说它取任意某一个特定的值的概率都是0（！与离散随机变量不同），概率只能在一个区间上进行评估而不能针对某一个点进行评估，具体来说，区间[a,b]之间的概率等于函数f(x)在[a,b]内所围成的区域的面积。与离散随机变量的概率函数另一个不同点是，f(x)在某些点或者某些区间可以大于1！

????????下图为正态分布的概率密度函数示意图。

2.3 累积分布函数

????????累积分布函数（CDF）的定义为：𝐹(𝑥)=𝑃𝑟[𝑋≤𝑥]

????????对于连续分布，它可以表示为概率密度函数的积分： $F(x) = Pr[X \leq x] = \int_{-\infty}^{x} f(\mu)d\mu$

????????对于离散分布，它可以表示为概率质量函数的求和： $F(x) = Pr[X \leq x] = \sum\limits_{\mu \leq x} p(\mu)$

????????下图为正态分布的l累积分布函数示意图。

2.4 百分点函数(PPF)

????????百分点函数是累积分布函数的反函数，所以PPF也常被称为逆分布函数，这里记为𝐺, 其定义为：

???????? $x = G(q) = F^{-1}(q) \Leftrightarrow F(x) = q$

????????PPF的输入是一个概率值q，返回的是x值，使得该x对应的累积分布函数值等于q。

????????下图为正态分布的百分点函数示意图。

????????由反函数性质可知，百分位函数的曲线与累积分布函数曲线以直线y=x为轴对称。

2.5 Survival Function

????????生存函数常用于可靠性分析相关领域，它的定义如下：

? ? ? ? ?????????𝑆(𝑥)=𝑃𝑟[𝑋>𝑥]=1?𝐹(𝑥)

????????所以生存函数可以理解为是累积分布函数的互补函数，所以也被称为CCDF(complementaty cumulative distribution function)?

????????下图为正态分布的生存函数示意图。

2.6 Inverse Survival Function

????????正如累积分布函数的逆函数为百分点函数一样，生存函数也有它的逆函数（只不过比较衰的是它并没有一个自己的专用名称^-^），这里记为𝑍.

????????由于累积分布函数与百分点函数以及生存函数的关系，逆生存函数可以基于百分点函数定义为：𝑍(𝛼)=𝐺(1?𝛼)

????????下图为正态分布的逆生存函数示意图。

2.7 风险函数Hazard Function

????????风险函数是概率密度函数（或者对于离散分布来说是概率质量函数）与生存函数之比，即：

???????? $h(x) = \frac{f(x)}{S(x)} = \frac{f(x)}{1-F(x)}$

????????正态分布的风险函数如下图所示：

2.8 累积风险函数 Cumulative Hazard Function

????????顾名思义，累积风险函数即为风险函数的积分：

???????? $H(x) = \int_{-\infty}^x h(\mu) d\mu = -\ln(1-F(x))$

????????正态分布的累积风险函数如下图所示：

3. 常用统计特征(Common Statistics)

????????上一章介绍的随机变量的累积分布函数、概率密度函数、概率质量函数等已经能够完整地描述随机变量的概率统计特性了。但是实际应用中常常使用的是能够直接描述随机变量的某种特征的常数，比如说一个人群的平均身高、体重，每个家庭的平均日常用电量，急救中心平均多久时间会接到一个求救等等。又比如学生考试成绩偏离平均成绩的分布程度等等。这些统计特性都可以基于CDF和PDF/PMF求出。