高斯分布
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了高斯分布相关的知识，希望对你有一定的参考价值。
参考技术A 其中参数： 被叫做均值， 被叫做方差，方差的平方根，由 给定，叫作标准差，方差的倒数 ，叫作精度。
根据上式，我们可以得到：
并且很容易证明高斯分布式高度归一化的，因此：
因此式（1.46）满足合理地概率密度函数的两个要求。
我们已经能够找到关于 的函数在高斯分布下的期望，特别地， 的平均值为：
的方差被定义为：
分布的最大值被叫做众数，对于高斯分布，众数与均值恰好相等。
对于 维向量 的高斯分布：
上式就是高斯分布的似然函数。
使用一个观测数据集来决定概率分布的参数的一个通用规则是寻找使似然函数取得最大值的参数值。简化后续数学分析和有助于数值计算，写作对数形式：
关于 ，最大化函数可以求得最大似然解：
这是样本均值，及观测到的 的均值。关于 最大化函数，我们求得方差的最大似然解：
这是关于样本均值 的样本方差，注意我们要同时关于 和 来最大化函数，但是在高斯分布的情况下， 的解和 无关，因此我们可以先对 求解，然后再对 求解。
下面的对于方差参数的估计是无偏的：
随机过程8 - 多元高斯分布及其线性性质
多元高斯分布及其线性性质
1. 高斯过程定义
上一部分，我们通过分子扩散、最大熵优化、中心极限定理三个问题，对高斯分布及高斯过程的应用性有了一定的了解。
那么，到底什么是高斯过程呢?
Gaussian Processes \\textGaussian Processes Gaussian Processes
如果一个随机过程是高斯过程，那么我们在这个随机过程中任意取n个点，得到一个随机矢量，那么这个随机矢量，一定是服从多元高斯分布的
Z ( t ) is Gaussian ∀ n ∀ t t 1 ≤ t 2 . . . ≤ t n Z = Z 1 ( t ) , . . . , Z n ( t ) T Z ∼ N ( μ , Σ ) Z ∈ R n Z(t) \\text is Gaussian \\\\ \\forall n \\quad \\forall t \\quad t_1 \\leq t_2 ... \\leq t_n \\\\ Z = \\Z_1(t),...,Z_n(t) \\^T \\\\ Z \\sim N(\\mu,\\Sigma) \\quad Z \\in \\R^n Z(t) is Gaussian∀n∀tt1≤t2...≤tnZ=Z1(t),...,Zn(t)TZ∼N(μ,Σ)Z∈Rn
2. 从高斯分布到多元高斯分布
2.1 定义
因为高斯过程的采样行为就得到了多元高斯分布。我们对高斯过程的了解首先就会从多元高斯分布开始。
如果n=1，得到的是一个一维的高斯分布
n = 1 f Z ( x ) = 1 2 π σ e x p ( − ( x − μ ) 2 2 σ 2 ) E ( Z ) = μ V a r ( Z ) = σ 2 n=1 \\quad f_Z(x) = \\frac1\\sqrt2 \\pi\\sigma exp(-\\frac(x-\\mu)^22 \\sigma^2) \\\\ E(Z) = \\mu \\quad Var(Z) = \\sigma^2 n=1fZ(x)=2πσ1exp(−2σ2(x−μ)2)E(Z)=μVar(Z)=σ2
如果n=2得到的是一个二维的高斯分布
n = 2 f Z 1 Z 2 ( x 1 , x 2 ) = 1 2 π σ 1 σ 2 1 − ρ 2 e x p ( − 1 2 ( 1 − ρ 2 ) ( ( x 1 − μ 1 σ 1 ) 2 + ( x 2 − μ 2 σ 1 ) 2 − 2 ρ x 1 − μ 1 ρ 1 x 2 − μ 2 ρ 2 ) ) E ( Z 1 ) = μ 1 E ( Z 2 ) = μ 2 V a r ( Z 1 ) = σ 1 2 V a r ( Z 2 ) = σ 2 2 n = 2 \\quad f_Z_1Z_2(x_1,x_2) = \\frac12 \\pi\\sigma_1 \\sigma_2 \\sqrt1 - \\rho^2 exp(-\\frac12(1-\\rho^2)((\\fracx_1 - \\mu_1\\sigma_1)^2+(\\fracx_2-\\mu_2\\sigma_1)^2-2\\rho \\fracx_1-\\mu_1\\rho_1\\fracx_2-\\mu_2\\rho_2)) \\\\ E(Z_1) = \\mu_1 \\quad E(Z_2) = \\mu_2 \\quad Var(Z_1) = \\sigma_1^2 \\quad Var(Z_2) = \\sigma_2^2 n=2fZ1Z2(x1,x2)=2πσ1σ21−ρ21exp(−2(1−ρ2)1((σ1x1−μ1)2+(σ1x2−μ2)2−2ρρ1x1−μ1ρ2x2−μ2))E(Z1)=μ1E(Z2)=μ2Var(Z1)=σ12Var(Z2)=σ22
其中ρ是两个随机变量的协方差
ρ = E ( Z 1 − μ 1 ) E ( Z 2 − μ 2 ) \\rho = E(Z_1 - \\mu_1)E(Z_2 - \\mu_2) ρ=E(Z1−μ1)E(Z2−μ2)
然后我们就可以给出n元高斯分布的定义了
n f Z ( x ) = 1 ( 2 π ) n 2 ( det Σ ) 1 2 e x p ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) μ ∈ R n E ( Z ) = μ Σ ∈ R n ∗ n E ( ( Z − μ ) T ( Z − μ ) ) = Σ n \\quad f_Z(x) = \\frac1(2\\pi)^\\fracn2 (\\det \\Sigma)^\\frac12 exp(-\\frac12(x - \\mu)^T \\Sigma^-1 (x-\\mu)) \\\\ \\mu \\in \\R^n \\quad E(Z) = \\mu \\\\ \\Sigma \\in \\R^n*n \\quad E((Z-\\mu)^T(Z - \\mu)) = \\Sigma nf随机过程8 - 多元高斯分布及其线性性质