随机过程8 - 多元高斯分布及其线性性质
Posted Ciaran-byte
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了随机过程8 - 多元高斯分布及其线性性质相关的知识，希望对你有一定的参考价值。
多元高斯分布及其线性性质
1. 高斯过程定义
上一部分，我们通过分子扩散、最大熵优化、中心极限定理三个问题，对高斯分布及高斯过程的应用性有了一定的了解。
那么，到底什么是高斯过程呢?
Gaussian Processes \\textGaussian Processes Gaussian Processes
如果一个随机过程是高斯过程，那么我们在这个随机过程中任意取n个点，得到一个随机矢量，那么这个随机矢量，一定是服从多元高斯分布的
Z ( t ) is Gaussian ∀ n ∀ t t 1 ≤ t 2 . . . ≤ t n Z = Z 1 ( t ) , . . . , Z n ( t ) T Z ∼ N ( μ , Σ ) Z ∈ R n Z(t) \\text is Gaussian \\\\ \\forall n \\quad \\forall t \\quad t_1 \\leq t_2 ... \\leq t_n \\\\ Z = \\Z_1(t),...,Z_n(t) \\^T \\\\ Z \\sim N(\\mu,\\Sigma) \\quad Z \\in \\R^n Z(t) is Gaussian∀n∀tt1≤t2...≤tnZ=Z1(t),...,Zn(t)TZ∼N(μ,Σ)Z∈Rn
2. 从高斯分布到多元高斯分布
2.1 定义
因为高斯过程的采样行为就得到了多元高斯分布。我们对高斯过程的了解首先就会从多元高斯分布开始。
如果n=1，得到的是一个一维的高斯分布
n = 1 f Z ( x ) = 1 2 π σ e x p ( − ( x − μ ) 2 2 σ 2 ) E ( Z ) = μ V a r ( Z ) = σ 2 n=1 \\quad f_Z(x) = \\frac1\\sqrt2 \\pi\\sigma exp(-\\frac(x-\\mu)^22 \\sigma^2) \\\\ E(Z) = \\mu \\quad Var(Z) = \\sigma^2 n=1fZ(x)=2πσ1exp(−2σ2(x−μ)2)E(Z)=μVar(Z)=σ2
如果n=2得到的是一个二维的高斯分布
n = 2 f Z 1 Z 2 ( x 1 , x 2 ) = 1 2 π σ 1 σ 2 1 − ρ 2 e x p ( − 1 2 ( 1 − ρ 2 ) ( ( x 1 − μ 1 σ 1 ) 2 + ( x 2 − μ 2 σ 1 ) 2 − 2 ρ x 1 − μ 1 ρ 1 x 2 − μ 2 ρ 2 ) ) E ( Z 1 ) = μ 1 E ( Z 2 ) = μ 2 V a r ( Z 1 ) = σ 1 2 V a r ( Z 2 ) = σ 2 2 n = 2 \\quad f_Z_1Z_2(x_1,x_2) = \\frac12 \\pi\\sigma_1 \\sigma_2 \\sqrt1 - \\rho^2 exp(-\\frac12(1-\\rho^2)((\\fracx_1 - \\mu_1\\sigma_1)^2+(\\fracx_2-\\mu_2\\sigma_1)^2-2\\rho \\fracx_1-\\mu_1\\rho_1\\fracx_2-\\mu_2\\rho_2)) \\\\ E(Z_1) = \\mu_1 \\quad E(Z_2) = \\mu_2 \\quad Var(Z_1) = \\sigma_1^2 \\quad Var(Z_2) = \\sigma_2^2 n=2fZ1Z2(x1,x2)=2πσ1σ21−ρ21exp(−2(1−ρ2)1((σ1x1−μ1)2+(σ1x2−μ2)2−2ρρ1x1−μ1ρ2x2−μ2))E(Z1)=μ1E(Z2)=μ2Var(Z1)=σ12Var(Z2)=σ22
其中ρ是两个随机变量的协方差
ρ = E ( Z 1 − μ 1 ) E ( Z 2 − μ 2 ) \\rho = E(Z_1 - \\mu_1)E(Z_2 - \\mu_2) ρ=E(Z1−μ1)E(Z2−μ2)
然后我们就可以给出n元高斯分布的定义了
n f Z ( x ) = 1 ( 2 π ) n 2 ( det Σ ) 1 2 e x p ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) μ ∈ R n E ( Z ) = μ Σ ∈ R n ∗ n E ( ( Z − μ ) T ( Z − μ ) ) = Σ n \\quad f_Z(x) = \\frac1(2\\pi)^\\fracn2 (\\det \\Sigma)^\\frac12 exp(-\\frac12(x - \\mu)^T \\Sigma^-1 (x-\\mu)) \\\\ \\mu \\in \\R^n \\quad E(Z) = \\mu \\\\ \\Sigma \\in \\R^n*n \\quad E((Z-\\mu)^T(Z - \\mu)) = \\Sigma nf随机过程8 - 多元高斯分布及其线性性质