截断正态分布（Truncated normal distribution）

Posted 2022-08-26 五道口纳什

Truncated normal distribution - Wikipedia

Normal Distribution 称为正态分布，也称为高斯分布，Truncated Normal Distribution一般翻译为截断正态分布，也有称为截尾正态分布。

截断正态分布是截断分布(Truncated Distribution)的一种，那么截断分布是什么？截断分布是指，限制变量$x$ 取值范围(scope)的一种分布。例如，限制x取值在0到50之间，即0<x<50。因此，根据限制条件的不同，截断分布可以分为：

• 2.1 限制取值上限，例如，负无穷<x<50
• 2.2 限制取值下限，例如，0<x<正无穷
• 2.3 上限下限取值都限制，例如，0<x<50

正态分布则可视为不进行任何截断的截断正态分布，也即自变量的取值为负无穷到正无穷；

1. 概率密度函数

假设 X 原来服从正太分布，那么限制 x 的取值在（a，b）范围内之后，X 的概率密度函数，可以用下面公式计算：

$$f(x;\\mu,\\sigma,a,b) = \\frac\\frac1\\sigma\\phi(\\fracx - \\mu\\sigma)\\Phi(\\fracb - \\mu\\sigma) - \\Phi(\\fraca - \\mu\\sigma)$$

也可简写为：

$$⇒\\fracf(x)F(b)-F(a)\\cdot I(a\\lt x \\lt b)$$

• 其中 $\\phi(\\cdot)$：均值为 0，方差为 1 的标准正态分布；

  $$\\phi(\\xi)=\\frac1\\sqrt2\\pi\\exp\\left(-\\frac12\\xi^2\\right)$$

• $\\Phi(\\cdot)$ 为标准正态分布的累积分布函数；

• 对其分母部分的一些简单认识，
  
  • $b\\to \\infty$，⇒ $\\Phi\\left(\\fracb-\\mu\\sigma\\right)=1$
  • $a\\to -\\infty$ ⇒ $\\Phi(\\fraca-\\mu\\sigma)=0$

2. 截断型正态分布期望、方差

https://www.youtube.com/watch?v=cvvrOqTIodk

对于正态分布：$f(x)=\\frac1\\sqrt2\\pi\\sigma\\exp(-\\frac(x-\\mu)^22\\sigma^2)$，有如下基本结论：

• $f\'(x)=-\\fracx-\\mu\\sigma^2f(x)$
• $\\int_a^bf\'(x)dx=f(b)-f(a)$（牛顿莱布尼茨公式）
• $S(x)=1-F(x)$（$F(x)$ 是 cdf）

对于下截断型正态分布，其数学期望 $E(x|c\\lt x)$：

E(tf.truncated_normal的用法

tf.truncates_normal()

TensorFlow中random_normal和truncated_normal的区别

TensorFlow — 相关 API

理解官方教程中卷积神经网络部分

trunc_normal_函数的含义和作用。