概率统计笔记：贝叶斯线性回归

Posted 2022-01-03 UQI-LIUWJ

1 引入

在贝叶斯框架下，当我们假设变量服从正态分布

根据共轭先验，我们知道：

• 似然函数P(x|θ)为已知精度的正态分布时，它均值的共轭先验是正态分布（也就是此时均值的先验概率密度函数P(θ)和后验概率密度函数P(θ|x) 均为正态分布）
• 似然函数P(x|θ)为已知均值的正态分布时，它精度的共轭先验是伽马分布（也就是此时均值的先验概率密度函数P(θ)和后验概率密度函数P(θ|x) 均为伽马分布）

概率统计笔记：共轭分布_UQI-LIUWJ的博客-CSDN博客_统计共轭

        所以我们先假设a,b和满足 （注：本来应该是满足 正态分布的，但是我们在单独研究a的分布的时候，可以把xi看作是一个常数（)

• 
• 
• 

        复习：伽马函数的概率密度函数为

2 参数后验分布的求法

2.1 直接套用共轭先验公式

2.1.1 计算 

 ——>

——>

所以后验概率 

2.1.2 计算b

 ——>P(b)

——>

所以后验概率

2.1.3 计算a

 ——>P(a)

与此同时 我们稍做处理：

 【精度的倒数 ——方差是除以 xi^2 的均值，所以精度是乘以）

所以 

这里我们做一个近似，

也即

即

 

2.2 手动推导

推导部分借鉴了浅谈贝叶斯张量分解（二）：简单的贝叶斯线性回归模型 - 知乎 (zhihu.com)

 首先这三个前提是不变的：

• 
• 
• 

 2.2.1 求a的后验概率

去掉无关项（μ1，τ1对X,Y的取值没有作用；b，τε对a的取值没啥作用），也即

• 

• 

而我们知道：似然函数P(x|θ)为已知精度的正态分布时，它均值的共轭先验是正态分布（也就是此时均值的先验概率密度函数P(θ)和后验概率密度函数P(θ|x) 均为正态分布）

概率统计笔记：共轭分布_UQI-LIUWJ的博客-CSDN博客_统计共轭

所以后验概率密度也为正态分布 

我们考虑指数项

的系数    

a的系数     

——>

2.2.2 求b的后验概率

和a 类似

同样地，后验概率也是正态分布

同样，我们也是看指数项

系数 

b系数 

所以

2.2.3 求τε的后验概率

 似然函数P(x|θ)为已知均值的正态分布时，它精度的共轭先验是伽马分布（也就是此时均值的先验概率密度函数P(θ)和后验概率密度函数P(θ|x) 均为伽马分布）

所以

： ——> 

指数项：

即