随机过程随机过系列之随机过程概述

Posted 2022-10-31

我尽力了，不要让我挂科！靠，难学到爆炸！！！

1. 随机过程的定义

如何理解定义？

首先是符号表示$X(t)$，这表明随机过程仍然是一个函数，只不过这个函数有点特变，它同时依赖于参数t（t一般是时间）和样本点ω，即$X(t，\\omega)$。

拆开理解：

• 如果给定时间 t，会得到关于样本点的随机函数，不同时间时刻对应不同随机变量取值；

• 如果给定样本点 $\\omega$，会得到一个关于 t 的样本轨道。

上图中刻画有了一个随机过程，每条曲线即样本轨道，而同一时刻t与多条样本轨道相交，也就是随机变量。

2.随机变量的相关性

对于随机变量X、Y联合概率密度为：$f_X,Y = \\frac\\partial^2\\partial x \\partial yF_X,Y(x,y)$，分布函数为：$F_X, Y=P(x\\leq X, y\\leq Y)$

X、Y之间的相关关系大致可以分为三种：相互独立，存在相关，线性相关。

1. 相互独立

Y的概率分布不随X的变动而变动，即二者相互独立，即联合概率密度函数为： $f_X, Y= \\begincases1, |x|\\leq1|y|\\leq1\\0,Others \\endcases$

2. 存在相关

当X移动的时候，Y的的取值也在变，说明XY之间存在相关性，联合密度函数为： $f_X, Y= \\begincases\\frac1\\pi, |x|+|y|\\leq1\\0,Others \\endcases$

3. 线性相关

上图中Y随着X的变动是较大的，考虑极端情形，即当纺锤体逐渐变窄的时候，Y与X之间的相关性也在不断增强，联合密度函数为： $f_X, Y= \\begincases\\frac1|\\Omega|, (x,y)\\in \\Omega \\0,Others \\endcases$

很多时候我们更喜欢研究简单的线性关系$Y=\\alpha X$，但是实际情况往往会类似于纺锤体，所以转而使用均方误差，不相等的地方表现在纺锤的宽度，$Y =\\alpha X \\rightarrow E(Y-\\alpha X)$(均方误差)，这里的$\\alpha$代表直线的斜率，对于一个纺锤体，有很多条直线经过，但是怎么确定最优的那条直线？

直观上我们认为经过纺锤体长轴的那条直线最佳，为什么？因为这条直线对应的最小均方误差（$min_\\alpha E(Y-\\alpha X)^2$）最小，其中$\\alpha_op+ = \\fracE(XY)E(X^2)$，由于随机过程研究一组随机变量之间的相关性，即我们更关注分子$E(XY)$。

对于XY直线的相关性，通常使用协方差来： $Cov(X, Y) = E(X-E(X))E(Y-E(Y)) = E(XY) -E(XE(Y))-E(YE(X))+E(X)E(Y)$ 因为期望E(X)和E(Y)是确定的，所以将上式可以转化为： $E(XY)-E(X)E(Y)$ 需要注意E(X)和E(Y)是两者均值的乘积，即两个确定值的乘积，并不是随机程所研究的。 综上： 两个随机变量不相关表示为：$E(XY) = EXEY = 0$，这里要区分事件独立和期望为0，对于$X = cos\\theta, Y = sin \\theta$，二者并不是独立的，因为都$\\theta$的函数，而且有：$X^2 + Y^2 = 1$ 但是可以说二者之间存在相关性吗？答案是不可以，通过求期望：$E(X) = \\int_-\\infty^+\\infty cos\\theta f(\\theta)d\\theta = \\int_0^2\\pisin\\theta \\frac12\\pid\\theta = 0$，同理$E(Y) = 0$，而$E(XY) = \\frac12\\pi\\int_02\\pisin\\theta cos\\theta d\\theta = 0$， 即$E(XY) = EXEY$。

3.相关函数与正定

二元函数R_X(t, s) = E(X(t)X(s))

这个函数的特点

1. 对称性（可以交换位置）

2. 对角线上非负性（$R_X(t, t) = E(X(t)^2)\\geq 0$）

3. 正定性（结合柯西施瓦兹不等式）

相关函数构成的矩阵一定为正定矩阵 $R_X = (R_X(t_i, t_j))ij = (E(X(t_i))E(X(t_j)))ij = E(XX^T)$(相关阵)

（此处$X = (X(t_1),X(t_2), ...)^T$）

$\\forall \\alpha \\in \\mathbbR, \\alpha^T R_x \\alpha = \\alpha^T E(XX^T)\\alpha=E(\\alpha^T XX^T\\alpha)=E((\\alpha^T X)^2)\\geq 0$

(之所以可以将α移动到E内是因为α是一个确定的数，而 $\\alpha^TX$表示一列乘一行，结果为一个数即可以表示为平方)

4.几何角度理解相关函数

引入内积从几何的角度理解随机变量的相关性，即$E(XY) = <X, Y>$

首先，针对内积的三条性质：

• 对称性: $<X, Y> = <Y, X>$, E(X,Y)满足
• 非负性: $<X,X> \\geq 0$， 当 $<X,X>=0, X = 0$，虽然$E(X2)^2$ 并不能推出 $E(X) = 0$，但是$P(X=0)=1$，也算满足。

• 双线性(固定其中一个随机变量，另外一个可以被线性表示): $<X, \\alpha Y+\\beta Z> = \\alpha E(X,Y)+\\beta E(X,Z)$ $<\\alpha X+\\beta Z, Y> = \\alpha E(X,Z)+\\beta E(Y,Z)$，也满足。

内积的几何含义是夹角： $cos<x, y> = \\frac<x, y>(<x, x>, <y, y>)^2$ 对应的，随机变量中的相关系数即对应到内积的夹角: $cos<X,Y>=\\fracXY(EX^2EY^2)^\\frac12$

如果再次从这个角度理解此前出现的满足最小均方误差时的直线斜率$\\alpha$，即将随机变量看为矢量：

要在x上寻找一个向量，到y的距离最近，这个向量就是 α，求解过程如下：

$||Y||cos\\theta \\fracX||X|| = (\\frac||Y||||X||cos\\theta) X= (\\frac||Y||||X||\\fracE(XY)E(X)^2E(Y)^2)X=(\\frac||Y||||X||\\fracE(XY)||X||||Y||)X=\\fracE(XY)||X||^2 = \\fracE(XY)E(X)^2=\\alpha$

5.宽平稳（弱平稳过程）

考察随机过程是否为宽平稳从以下两个角度进行：

1. 条件一：（一阶矩）均值函数为常数（存在常数$\\mu$，使得$\\mu_X(t)=\\mu , t\\in T$ $E(X(t)) = m(t) \\equiv m$
2. 条件二：（二阶矩）自相关函数仅与时间差有关（存在函数使得$r_X(s, t) = f_X(s-t), s, t\\in T$） $R_X(t, s) = R_x(t+D, s+D) ,\\forall D\\in \\mathbbR$

• 实例 振幅调制过程：$X(t) = A(t)cos(2\\pi f_0t+\\theta)$，其中振幅调制函数A(t)是随机的，相位调制函数中的θ在(0, 2$\\pi$)上均匀分布，二者相互独立($\\theta$和$t$无关)，判断其是否为宽平稳。

1. 通过一阶矩考察条件一是否满足

$E(X) = E(A(t))E(cos(2\\pi f_0t+\\theta)) = E(A(t) = \\int_0^2\\pifrac12\\picos(2\\pi f_0t+\\theta))d\\theta =0$
2. 通过二阶矩（相关性$R_X(t, s)$）考察满足条件二

$R_X(t, s) = E(A(t)A(s))E(cos(2\\pi f_0t+\\theta)(cos(2\\pi f_0s+\\theta))$

(上一步到下一步运用的是积化和差)

$= E(A(t)A(s))\\frac12(E(cos(2\\pi f_0(t+s)+2\\theta) + E(cos(2\\pi f_0(t-s))$

（巧妙的转化出了$2\\theta$，即最终$cos(2\\pi f_0(t+s)+2\\theta)$一定为0）

$= \\frac12E(A(t)A(s))cos(2\\pi f_0(t-s))$

（所以最终落脚点在于$E(A(t)A(s))$是否为宽平稳，如果是，则可以推出下式）

$=\\frac12R_A(t-s)cos(2\\pi f_0(t-s))$（完毕）
==而由宽平稳局部具有的特性可以推出（决定）整体，简言之，部分区间连续则整体连续，部分区间呈现周期性，则整体呈现周期性，此处仅介绍周期性的推广==

$\\exist T, R_X(0)=R_X(T) \\Longleftrightarrow \\forall t R_X(t+T)=R_X(t)$

(此处有$E|X(0)-X(T)|^2=0$的中间推导，而对于宽平稳来说有$E|X(t)-X(t+T)|^2=0$ )

1. $E|X(0)-X(T)|^2$展开后有：$E|X(0)-X(T)|^2=E(0)^2+E(T)^2-2E(X(0)X(T))$

(由已知条件：T时刻出现了和0时刻同样的情况，即$X(0)=X(T)$)

$=R_X(0)+R_X(T)-2R_X(T)=2R_X(0)-2R_X(T)=0$

2. $|R_t(t+T)-R_X(t)| = |E(X(t)X(t+T))- E(X(t))E(X(t+T))|=|E(X(t)E(X(t+T)-X(t)))|$

（由柯西不等式）

$\\leq (Ex^2（t）E(X(t+T)-X(t)^2)^\\frac12 = 0$