随机过程 7 - 高斯过程的初步认识

Posted 2022-12-06 Ciaran-byte

高斯过程的初步认识

文章目录

• 高斯过程的初步认识
• • 1. 概述
  • 2. 扩散方程与高斯过程
  • 3. 最大熵与高斯分布
  • • 3.1 双边无界
    • 3.2 单边无界
    • 3.3 双边有界
  • 4. 中心极限定理、大数定理与高斯过程
  • • 4.1 中心极限定理
    • • 4.1.1 中心极限定理的描述
      • 4.1.2 特征函数
      • 4.1.3 高斯分布的特征函数
      • 4.1.4 特征函数与随机变量和的分布
      • 4.1.5 中心极限定理的证明
    • 4.2 大数定理证明
    • 4.3 中心极限定理与大数定理的关系
    • 4.3 中心极限定理的应用--随机游动问题

1. 概述

  随机过程研究的角度主要包括：线性的角度、马尔科夫角度、鞅角度。我们之前所介绍的知识都是从线性的角度来说的，讲述的都是随机过程中的一些共性的东西，还没有介绍具体的随机过程。接下来，我们要介绍高斯过程和泊松过程两个随机过程。这是人们研究最透彻，也是最常见的两种随机过程。

  我们首先会通过物理学的分子运动、信息论中的熵和概率论中的中心极限定理这三问题入手，通过分析这三个问题，我们会发现高斯过程是一种随处可见，应用非常广泛的随机过程。

2. 扩散方程与高斯过程

  第一个角度，我们会从分子运动和随机扩散问题进行展开，这是个物理问题。

$$\begin{gathered} \text{Molecular Dynamic} \\ \text{Random Diffusion} \end{gathered}$$

  我们提出的问题是，假设我们往水里滴一滴墨水，经过时间τ之后，这滴墨水的分布情况变成了什么样子。事实上，这是问题是具有随机性的，并且会服从某种分布。

  我们假设ρ(y)表示，经常时间τ之后，分子距离原点为y的地方出现的概率

$$\rho (y)\text{ Probality Density}$$

  我们规定这个概率分布具有这样的性质：关于原点是对称的、积分是1、一阶矩为0，二阶矩是个常数。

$$\begin{gathered} \rho (y)\ge 0 \\ \rho (y)=\rho (-y) \\ {\int }_{-\infty }^{+\infty }\rho (y)=1 \\ {\int }_{-\infty }^{+\infty }y\rho (y)=0 \\ {\int }_{-\infty }^{+\infty }{y}^2\rho (y)=D \end{gathered}$$

  分子运动建模是1905年由爱因斯坦做出的。当时概率理论还没有被建立。人们描述分子运动一般都会基于牛顿方程，使用动力学模型进行描述，但是由于需要考虑的因素过多，没有办法准确描述。爱因斯坦首次使用概率的方法对分子运动进行建模。并且，基于这个模型，人们发现了分子。

  然后我们定义一个函数f(x,t),表示时间为t的时候，距离原点x位置的分子数量。由于在初始化时刻初始位置我们只滴入了一滴墨水，初始状态的分子总量是确定的。我们描述物理问题的时候一般都是需要找到守恒量的，这里分子的总量就是个守恒量

$$f(x,t)\to f(0,0)=C$$

  接下来，我们要通过分子运动规律进行建模，从而得到有关函数f的微分方程。

  我们要计算经过时间τ之后x处的分子数量

$$f(x,t+\tau )={\int }_{-\infty }^{+\infty }f(x-y,t)\rho (y)dy$$

  t +τ时刻的分子是由t时刻各处的分子的扩散行为决定的，在x处的分子可能会扩散向其他地方，不在x处的可能会扩散过来。这个方程其实已经包括了扩散来和扩散走的情况了。y为0的时候就是x处分子的扩散行为。

  左边是时间的维度，右边是空间的维度。我们通过对时间维度和空间维度进行泰勒展开，即可得到微分方程。不过，由于时间的差异非常小，用泰勒公式是可以的，因为泰勒公式是局部展开的性质。而对空间维度进行泰勒展开可能在感觉上会有问题，但是最终得到的结果确实正确的

$$f(x,t+\tau )=f(x,t)+\frac{\partial f}{\partial t}\tau +O(\tau )$$

  然后在空间维度进行展开，并且展开到二阶

$$f(x-y,t)=f(x,t)-\frac{\partial f}{\partial x}y+\frac{1}{2}\frac{{\partial }^{2}f}{\partial x^2}{y}^2+O(y^2)$$

  时间展开等于空间展开的积分，其中高阶无穷小可以忽略。并且代入概率密度函数的性质,我们可以得到一个差分方程

f ( x , t ) + ∂ f ∂ t τ + O ( τ ) = ∫ − ∞ + ∞ ( f ( x , t ) − ∂ f ∂ x y + 1 2 ∂ 2 f ∂ x 2 y 2 + O ( y 2 ) ) ρ ( y ) d y f ( x , t ) + ∂ f ∂ t τ = f ( x , t ) ∫ − ∞ + ∞ ρ ( y ) d y − ∂ f ∂ x ∫ − ∞ + ∞ y ρ ( y ) d y + 1 2 ∂ 2 f ∂ x 2 ∫ − ∞ + ∞ y 2 ρ ( y ) d y f ( x , t ) + ∂ f ∂ t τ = f ( x , t ) + 0 + D 2 ∂ 2 f ∂ x 2 ⇒ ∂ f ∂ t τ = D 2 ∂ 2 f ∂ x 2 ⇒ ∂ f ∂ t = D 2 τ ∂ 2 f ∂ x 2 Diffusion Equation f(x,t) + \\frac\\partial f\\partial t \\tau + O(\\tau) = \\int_-\\infty^+\\infty (f(x,t)- \\frac\\partial f\\partial x y + \\frac12\\frac\\partial^2 f\\partial x^2 y^2 + O(y^2)) \\rho(y) dy \\\\ f(x,t) + \\frac\\partial f\\partial t \\tau = f(x,t) \\int_-\\infty^+\\infty \\rho(y)dy - \\frac\\partial f\\partial x\\int_-\\infty^+\\infty y \\rho(y) dy + \\frac12\\frac\\partial^2 f\\partial x^2\\int_-\\infty^+\\infty y^2\\rho(y) dy \\\\ f(x,t) + \\frac\\partial f\\partial t \\tau = f(x,t) + 0 + \\fracD2\\frac\\partial^2 f\\partial x^2 \\\\ \\Rightarrow \\frac\\partial f\\partial t \\tau = \\fracD2\\frac\\partial^2 f\\partial x^2 \\\\ \\Rightarrow \\frac\\partial f\\partial t = \\fracD2\\tau\\frac\\partial^2 f\\partial x^2 \\\\ \\textDiffusion Equation f(x,t)+∂t∂f​τ+O(τ)=∫−∞+∞​(f(x,t)−∂x∂f​y+21​∂x2∂2f​y2+O(y2))ρ(y)dyf(x,t)+∂t∂f​τ=f(x,t)∫−∞+∞​ρ(y)dy−∂x∂f​∫−∞+∞​yρ(y)dy+21​∂x2∂2f​∫−∞+∞​y2ρ(y)dyf(x,t)+∂t以上是关于随机过程 7 - 高斯过程的初步认识的主要内容，如果未能解决你的问题，请参考以下文章

随机过程 7 - 高斯过程的初步认识

随机过程10 -高斯过程与布朗运动

随机过程8 - 多元高斯分布及其线性性质

随机过程8 - 多元高斯分布及其线性性质

随机过程8 - 多元高斯分布及其线性性质

随机过程10 -高斯过程与布朗运动