随机过程的定义
直观定义
随机过程是一组依赖于实参数t的随机变量，这个实参数可以取连续值也可以离散，记为 { X ( t ) , t ∈ R } \{ X(t) ,t\in \mathbb R \} {X(t),t∈R} 或 { X ( n ) , n ∈ N } \{X(n), n \in \mathbb N\} {X(n),n∈N}
R e m a r k : Remark: Remark:
- 随机过程中的过程二字，暗示了这个参数t通常表明的是时间
- 随机过程可以看作是一组随机变量(r.v.)由一种index串起来，这个index就是实参数t或n
更数学化的定义
设 ( Ω , Σ , P ) (\Omega,\Sigma,P) (Ω,Σ,P)为一概率空间，其中 Ω \Omega Ω为样本空间， Σ \Sigma Σ为事件域，P为定义在 Σ \Sigma Σ上的函数，称随机变量族 X T = X ( t , w ) ; t ∈ T X_T={X(t,w);t\in T} XT?=X(t,w);t∈T为该概率空间上的一随机过程
用映射可以表示为:
X ( t , ω ) : T × Ω → R X(t,\omega): T \times \Omega \rightarrow R X(t,ω):T×Ω→R
R e m a r k Remark Remark:
- 概率论中，事件域为样本空间幂集的子集，即 Σ ? 2 Ω \Sigma \subset 2^{\Omega} Σ?2Ω
- 随机变量族的意思是"一串"随机变量
- X(t,w)通常简写为X(t)。但是心里要明白这个函数其实是一个二元函数。
-
- X(t,w)中固定 t t t 时，X(t,w)得到了一个随机变量
- X(t,w)中固定 ω \omega ω 时，X(t,w)就得到了一次"实现"，去除掉了随机性，称为一个样本函数
终极总结: 随机过程就是由一个index串起来的一串随机变量。这个index可以是连续的也可以是离散的，通常带有时间的含义
几何的视角来看随机变量
首先来复习下概率论中的"相关性"
图源: 张灏–随机过程–清华大学
在由上图中f(x,y)确定的(X,Y)的分布中，X与Y是独立的，因为任意固定x的值，y的分布没有变化。可见x与y独立
而在上图中，固定不同的x的值，会影响y的分布的变化，可见x与y并不独立
对于上图中纺锤形的分布函数，x与y也不是独立的(固定不同的x的值，y的分布会变化)，但是两者显然有一些相关性–随着x的增大，y在统计上也是增大的
相关系数，就是用来衡量这个纺锤胖瘦的量，相关系数越大，那么这个纺锤的线性度就越高
简单的线性回归
下面整一点简单的线性回归内容:
对于上图中的纺锤，我想找出一条直线最优的直线Y=aX，来刻画X与Y之间的关系，那么这个a的最优值是多少?结论如下
欲 寻 求 一 个 α ， 即 Y = α X ， 从 而 有 α o p t = a r g m i n α E ( Y ? α X ) 2 等 号 右 边 也 就 是 均 方 误 差 结 论 是 α o p t = E ( X Y ) E ( X 2 ) 欲寻求一个\alpha，即Y=\alpha X ，从而有\\\alpha_{opt}=argmin_{\alpha} E(Y-\alpha X)^2\\ 等号右边也就是均方误差\\结论是\alpha_{opt}=\frac{E(XY)}{E(X^2)} 欲寻求一个α，即Y=αX，从而有αopt?=argminα?E(Y?αX)2等号右边也就是均方误差结论是αopt?=E(X2)E(XY)?
证明: //TODO
"相关"在概率论中的重要地位
对于两个R.V. 即X与Y, 其相关定义为
-
实数域上: E(XY)
-
复数域上: E ( X Y ￣ ) E(X\overline Y) E(XY)
其中复数域上的定义蕴含了实数域中的定义。但是，在平常的讨论中，可以拿实数域上的定义进行分析，如果要变成复数域，只需要在分析过程中多写几根横线就可以了，这个区分并不本质
Remark：
- 实际上上面对相关的定义是针对X和Y为零均值的情况，也有很多时候是像下面这样定义的: E((X-EX)(Y-EY))=Cov(X, Y)，经过简单推导可以知道这种定义与上边定义的关系为:
E((X-EX)(Y-EY))=EXY - EXEY
也就是说，对于R.V.来说协方差和相关之间只相差一个常数，而这个相差的东西也并不本质，协方差和相关在概率论中的地位是等同的。一般来说，相关还是定义为E(XY)的形式
例: X = c o s ( θ ) X=cos(\theta) X=cos(θ) 和 Y = s i n θ Y=sin\theta Y=sinθ 有一定的联系，即平方和为1，但是他们的相关EXY=0。这里定义的相关实际指的是线性相关
下面重点来了:
从几何的视角来看，相关运算可以定义为一种内积，即E(XY)=<X,Y>
一个运算想要称为内积, 需要满足如下性质
?
x
,
y
?
:
H
×
H
→
R
1.
共
轭
对
称
性
?
x
,
y
?
=
?
y
,
x
?
2.
非
负
?
x
,
x
?
?
0
3.
非
退
化
?
x
,
x
?
=
0
?
x
=
0
\langle x, y\rangle: H \times H \rightarrow \mathbb{R}\\1. 共轭对称性 \langle x, y\rangle=\langle y, x\rangle\\ 2. 非负 \langle x, x\rangle \geqslant 0\\3. 非退化\langle x, x\rangle=0 \Leftrightarrow x=0
?x,y?:H×H→R1.共轭对称性?x,y?=?y,x?2.非负?x,x??03.非退化?x,x?=0?x=0
4.
双
线
性
?
x
,
α
y
+
β
z
?
=
α
(
x
,
y
z
+
β
(
x
,
z
)
4.双线性\langle x, \alpha y+\beta z\rangle=\alpha(x, y z+\beta(x, z)
4.双线性?x,αy+βz?=α(x,yz+β(x,z)
?
x
,
α
y
+
β
z
?
=
α
(
x
,
y
z
+
β
(
x
,
z
)
\langle x, \alpha y+\beta z\rangle=\alpha(x, y z+\beta(x, z)
?x,αy+βz?=α(x,yz+β(x,z)
?
α
x
+
β
y
,
z
?
=
α
(
x
,
z
)
+
β
(
y
,
z
)
\langle\alpha x+\beta y, z\rangle=\alpha(x, z)+\beta(y, z)
?αx+βy,z?=α(x,z)+β(y,z)
可以验证，上述性质相关运算都是满足的。从而把随机变量嵌入到了内积空间中，不仅如此，随机变量还可以看作是向量
从而可以得到一些看起来不直观的结论，例如
- 随机变量X与随机变量Y之间的夹角的余弦
把内积变成相关，实际上，这个夹角的余弦就是相关系数
- 由于把R.V.可以看成是向量，从而甚至可以有柯西施瓦茨不等式
可见，相关运算在随机变量中相当于内积的地位，可见其重要性
相关函数
定义了R.V.的相关以后，自然可以定义随机过程的相关函数
-
自相关 R X ( t , s ) = E ( X ( t ) X ( s ) ) R_X(t, s)=E(X(t)X(s)) RX?(t,s)=E(X(t)X(s))
-
互相关 R X Y ( t , s ) = E ( X ( t ) Y ( s ) ) R_{XY}(t,s)=E(X(t)Y(s)) RXY?(t,s)=E(X(t)Y(s))
因为相关函数是用相关运算定义的，从而也有相关的性质，以及内积的性质(共轭对称等等)
上面的相关函数是一个二元函数，能不能变成一个一元函数呢？是可以的，只需要假设X(t)与Y(t)为宽平稳过程即可
宽平稳过程也有一些独特的性质，这些性质都可以由内积的性质简单结合宽平稳的定义推出，不赘述