随机过程19 - 随机过程的线性预测问题
Posted Ciaran-byte
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了随机过程19 - 随机过程的线性预测问题相关的知识，希望对你有一定的参考价值。
随机过程的线性预测问题
文章目录
1. 随机过程的估计问题概述
我们假设X是随机变量构成的概率空间，Xs是X的子空间，Xs是已知的。而Y是存在于X中的一个未知的随机变量，估计的目的就是为了利用Xs中的信息对Y做出统计推断，一般来说有这样的情况
1.1 预测问题
利用过去和现在的已知信息，对未来进行估计，这类问题叫做预测问题，表达为
Prediction \\textPrediction Prediction
X = X ( t ) , t ∈ R X s = X ( u ) , u ≤ t Y = ( t + τ ) X s ⇒ Y X = \\ X(t),t\\in \\R\\\\\\ X_s = \\ X(u),u\\leq t\\ \\\\ Y = (t+\\tau) \\\\ X_s \\Rightarrow Y X=X(t),t∈RXs=X(u),u≤tY=(t+τ)Xs⇒Y
1.2 内插问题
而已知随机过程两端的信息，来估计中间时刻的未知信息，叫做内插问题
Interpolation \\textInterpolation Interpolation
X = X ( t ) , t ∈ R X s = X ( u ) , u = A ∪ B , A ∈ ( − ∞ , t ) , B ∈ ( t , + ∞ ) Y = X ( t ) X = \\ X(t),t\\in \\R\\ \\\\ X_s = \\X(u),u=A \\cup B,A\\in(-\\infty,t),B\\in(t,+\\infty) \\ \\\\ Y = X(t) X=X(t),t∈RXs=X(u),u=A∪B,A∈(−∞,t),B∈(t,+∞)Y=X(t)
1.3 滤波问题
一个原本的随机过程在观测的时候会引入噪声，利用带有噪声的观测去估计原本的随机过程叫做滤波问题
model X ( t ) , t ∈ R W ( t ) , t ∈ R X ⊃ X ( t ) , t ∈ R ∪ W ( t ) , t ∈ R Z ( t ) = X ( t ) + W ( t ) subspace X s = Z ( u ) , u ≤ t Y = X ( t ) \\textmodel \\ X(t),t\\in \\R\\ \\quad \\ W(t),t\\in \\R\\ \\\\ X \\supset \\ X(t),t\\in \\R\\ \\cup \\ W(t),t\\in \\R\\ \\\\ Z(t) = X(t)+W(t) \\textsubspace \\\\ X_s = \\ Z(u),u\\leq t\\ \\\\ Y = X(t) modelX(t),t∈RW(t),t∈RX⊃X(t),t∈R∪W(t),t∈RZ(t)=X(t)+W(t)subspaceXs=Z(u),u≤tY=X(t)
这里我们希望观测的是X，但是实际测量的是Z，Z是X叠加一个加性噪声的结果。我们希望利用测量数据估计出原本的状态X
2. 随机过程的可预测性
首先，我们需要搞清楚的第一个问题是，什么样的随机过程是可预测的
2.1 新息过程
2.1.1 信息过程的定义
我们定义这样的参数
假设有一个离散的随机过程X
X k , k = 1 , . . . , n ∼ Discrete Stochastic Processes \\X_k,k=1,...,n\\ \\sim \\textDiscrete Stochastic Processes Xk,k=1,...,n∼Discrete Stochastic Processes
并且定义X1，…，Xk构成的子空间是LkX
L k X = s p a n X 1 , . . . , X k ⇒ L n − 1 X = s p a n X k , k ≤ k − 1 L_k^X = span\\X_1,...,X_k\\ \\\\ \\Rightarrow L^X_n-1 = span\\X_k,k\\leq k-1\\ LkX=spanX1,...,Xk⇒Ln−1X=spanXk,k≤k−1
事实上，随机过程X的信息可能并不是一次获得的，而是随着时间的变化，逐步获取的。也就是这些随机变量Xk构成的子空间LXk也是在不断扩充的。因此，我们每次采样得到的一个数据Xn是可以分解为旧空间信息和新空间信息的
X n = ( X n ∣ L n − 1 X ) + ( X n − X n ∣ L n − 1 X ) X_n = (X_n|L_n-1^X) + (X_n - X_n|L_n-1^X) Xn=(Xn∣Ln−1X)+(Xn−Xn∣Ln−1X)
其中前一部分数据表示新数据在旧空间上的投影，而后一部分数据在旧空间LXn-1的正交补空间的投影。如果后面一部分不为0的话，说明新的数据含有新的信息，而后数据子空间会得到扩展。
我们把数据Xn在旧空间的正交补中的投影定义为In,这个变量表示新数据是否含有新的子空间信息
I n = X n − X n ∣ L n − 1 X I_n = X_n - X_n|L_n-1^X In=Xn−Xn∣Ln−1X
因此，新的采样数据可以表示为两个空间投影的和
X n = X n ∣ L n − 1 X + I n X_n = X_n|L_n-1^X +I_n Xn=Xn∣Ln−1X+In
由于In是真正含有新信息的部分，因此，我们称In是Xn的新息过程
innovations process \\textinnovations process innovations process
2.1.2 估计的子空间分解
因此，对于我们的估计Y，也可以有新的表示形式。如果我们要用X1,…Xn去估计Y，得到的其实就是Y在子空间LXn上的投影
Y ^ = Y ∣ L n X \\hat Y = Y | L^X_n Y^=Y∣LnX
而我们知道投影具有这样的性质，如果子空间能够分解为两个正交的子空间，那么在原来子空间上的投影，就等于在两个新正交子空间上的投影的和
Subspace W , U , V W = U + V U ⊥ V ⇒ Y ∣ W = Y ∣ U + Y ∣ V \\textSubspace W,U,V \\\\ W = U+V \\quad U \\perp V \\\\ \\Rightarrow Y|W = Y|U+Y|V Subspace W,U,VW=U+VU⊥V⇒Y∣W=Y∣U+Y∣V
因为LXn-1与In具有正交补的关系，因此Y的估计也可以做子空间分解
Y ^ = Y ∣ L n X = Y ∣ L n − 1 X + Y ∣ I n \\hat Y = Y | L^X_n = Y | L^X_n-1 +Y|I_n Y^=Y∣L随机过程19 - 随机过程的线性预测问题