随机过程 7 - 高斯过程的初步认识
Posted Ciaran-byte
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了随机过程 7 - 高斯过程的初步认识相关的知识，希望对你有一定的参考价值。
高斯过程的初步认识
文章目录
1. 概述
随机过程研究的角度主要包括：线性的角度、马尔科夫角度、鞅角度。我们之前所介绍的知识都是从线性的角度来说的，讲述的都是随机过程中的一些共性的东西，还没有介绍具体的随机过程。接下来，我们要介绍高斯过程和泊松过程两个随机过程。这是人们研究最透彻，也是最常见的两种随机过程。
我们首先会通过物理学的分子运动、信息论中的熵和概率论中的中心极限定理这三问题入手，通过分析这三个问题，我们会发现高斯过程是一种随处可见，应用非常广泛的随机过程。
2. 扩散方程与高斯过程
第一个角度，我们会从分子运动和随机扩散问题进行展开，这是个物理问题。
Molecular Dynamic Random Diffusion \\textMolecular Dynamic \\\\ \\textRandom Diffusion Molecular DynamicRandom Diffusion
我们提出的问题是，假设我们往水里滴一滴墨水，经过时间τ之后，这滴墨水的分布情况变成了什么样子。事实上，这是问题是具有随机性的，并且会服从某种分布。
我们假设ρ(y)表示，经常时间τ之后，分子距离原点为y的地方出现的概率
ρ ( y ) Probality Density \\rho(y) \\text Probality Density ρ(y) Probality Density
我们规定这个概率分布具有这样的性质：关于原点是对称的、积分是1、一阶矩为0，二阶矩是个常数。
ρ ( y ) ≥ 0 ρ ( y ) = ρ ( − y ) ∫ − ∞ + ∞ ρ ( y ) = 1 ∫ − ∞ + ∞ y ρ ( y ) = 0 ∫ − ∞ + ∞ y 2 ρ ( y ) = D \\rho(y) \\geq 0 \\\\ \\rho(y) = \\rho(-y) \\\\ \\int_-\\infty^+\\infty \\rho(y) = 1 \\\\ \\int_-\\infty^+\\infty y\\rho(y) = 0 \\\\ \\int_-\\infty^+\\infty y^2\\rho(y) = D \\\\ ρ(y)≥0ρ(y)=ρ(−y)∫−∞+∞ρ(y)=1∫−∞+∞yρ(y)=0∫−∞+∞y2ρ(y)=D
分子运动建模是1905年由爱因斯坦做出的。当时概率理论还没有被建立。人们描述分子运动一般都会基于牛顿方程，使用动力学模型进行描述，但是由于需要考虑的因素过多，没有办法准确描述。爱因斯坦首次使用概率的方法对分子运动进行建模。并且，基于这个模型，人们发现了分子。
然后我们定义一个函数f(x,t),表示时间为t的时候，距离原点x位置的分子数量。由于在初始化时刻初始位置我们只滴入了一滴墨水，初始状态的分子总量是确定的。我们描述物理问题的时候一般都是需要找到守恒量的，这里分子的总量就是个守恒量
f ( x , t ) → f ( 0 , 0 ) = C f(x,t) \\rightarrow f(0,0) = C f(x,t)→f(0,0)=C
接下来，我们要通过分子运动规律进行建模，从而得到有关函数f的微分方程。
我们要计算经过时间τ之后x处的分子数量
f ( x , t + τ ) = ∫ − ∞ + ∞ f ( x − y , t ) ρ ( y ) d y f(x,t+ \\tau) = \\int_-\\infty^+\\infty f(x-y,t) \\rho(y) dy f(x,t+τ)=∫−∞+∞f(x−y,t)ρ(y)dy
t +τ时刻的分子是由t时刻各处的分子的扩散行为决定的，在x处的分子可能会扩散向其他地方，不在x处的可能会扩散过来。这个方程其实已经包括了扩散来和扩散走的情况了。y为0的时候就是x处分子的扩散行为。
左边是时间的维度，右边是空间的维度。我们通过对时间维度和空间维度进行泰勒展开，即可得到微分方程。不过，由于时间的差异非常小，用泰勒公式是可以的，因为泰勒公式是局部展开的性质。而对空间维度进行泰勒展开可能在感觉上会有问题，但是最终得到的结果确实正确的
f ( x , t + τ ) = f ( x , t ) + ∂ f ∂ t τ + O ( τ ) f(x,t+\\tau) = f(x,t) + \\frac\\partial f\\partial t \\tau + O(\\tau) f(x,t+τ)=f(x,t)+∂t∂fτ+O(τ)
然后在空间维度进行展开，并且展开到二阶
f ( x − y , t ) = f ( x , t ) − ∂ f ∂ x y + 1 2 ∂ 2 f ∂ x 2 y 2 + O ( y 2 ) f(x-y,t) = f(x,t)- \\frac\\partial f\\partial x y + \\frac12\\frac\\partial^2 f\\partial x^2 y^2 + O(y^2) f(x−y,t)=f(x,t)−∂x∂fy+21∂x2∂2fy2+O(y2)
时间展开等于空间展开的积分，其中高阶无穷小可以忽略。并且代入概率密度函数的性质,我们可以得到一个差分方程
f ( x , t ) + ∂ f ∂ t τ + O ( τ ) = ∫ − ∞ + ∞ ( f ( x , t ) − ∂ f ∂ x y + 1 2 ∂ 2 f ∂ x 2 y 2 + O ( y 2 ) ) ρ ( y ) d y f ( x , t ) + ∂ f ∂ t τ = f ( x , t ) ∫ − ∞ + ∞ ρ ( y ) d y − ∂ f ∂ x ∫ − ∞ + ∞ y ρ ( y ) d y + 1 2 ∂ 2 f ∂ x 2 ∫ − ∞ + ∞ y 2 ρ ( y ) d y f ( x , t ) + ∂ f ∂ t τ = f ( x , t ) + 0 + D 2 ∂ 2 f ∂ x 2 ⇒ ∂ f ∂ t τ = D 2 ∂ 2 f ∂ x 2 ⇒ ∂ f ∂ t = D 2 τ ∂ 2 f ∂ x 2 Diffusion Equation f(x,t) + \\frac\\partial f\\partial t \\tau + O(\\tau) = \\int_-\\infty^+\\infty (f(x,t)- \\frac\\partial f\\partial x y + \\frac12\\frac\\partial^2 f\\partial x^2 y^2 + O(y^2)) \\rho(y) dy \\\\ f(x,t) + \\frac\\partial f\\partial t \\tau = f(x,t) \\int_-\\infty^+\\infty \\rho(y)dy - \\frac\\partial f\\partial x\\int_-\\infty^+\\infty y \\rho(y) dy + \\frac12\\frac\\partial^2 f\\partial x^2\\int_-\\infty^+\\infty y^2\\rho(y) dy \\\\ f(x,t) + \\frac\\partial f\\partial t \\tau = f(x,t) + 0 + \\fracD2\\frac\\partial^2 f\\partial x^2 \\\\ \\Rightarrow \\frac\\partial f\\partial t \\tau = \\fracD2\\frac\\partial^2 f\\partial x^2 \\\\ \\Rightarrow \\frac\\partial f\\partial t = \\fracD2\\tau\\frac\\partial^2 f\\partial x^2 \\\\ \\textDiffusion Equation f(x,t)+∂t∂fτ+O(τ)=∫−∞+∞(f(x,t)−∂x∂fy+21∂x2∂2fy2+O(y2))ρ(y)dyf(x,t)+∂t∂fτ=f(x,t)∫−∞+∞ρ(y)dy−∂x∂f∫−∞+∞yρ(y)dy+21∂x2∂2f∫−∞+∞y2ρ(y)dyf(x,t)+∂以上是关于随机过程 7 - 高斯过程的初步认识的主要内容，如果未能解决你的问题，请参考以下文章