VAE与CVAE

Posted 2022-11-29 Paul-Huang

CVAE理论到代码

• 1. VAE的本质
• • 1.1 深度理解VAE
  • 1.2 VAE 与GAN
• 2. CVAE
• • 2.1 CVAE简介
  • 2.2 CVAE基本模型
  • 2.3 数学理解
• 参考

1. VAE的本质

1.1 深度理解VAE

1. VAE本质就是在我们常规的自编码器的基础上，对encoder的结果（在VAE中对应着计算均值的网络）加上了$“高斯噪声”$，$使得结果decoder能够对噪声有鲁棒性$；而那个额外的KL loss（目的是让均值为0，方差为1），事实上就是相当于对encoder的一个正则项，希望encoder出来的东西均有零均值。

   

2. VAE 中的encoder（对应着计算方差的网络）的作用：是用来$动态调节噪声的强度$的。

   • 当decoder还没有训练好时（$重构误差$远大于KL loss），就会适当$降低噪声$（KL loss增加），使得拟合起来容易一些（重构误差开始下降）；
   • 如果decoder训练得还不错时（$重构误差$小于KL loss），这时$噪声就会增加$（KL loss减少），使得拟合更加困难了（重构误差又开始增加），这时候decoder就要想办法提高它的生成能力了。

   具体理解参照：下图，以及以下公式

   1. 观测数据集$X={{\mathtt{x}}^{(i)}}_{i=1}^{N}i.i.d$（$X$本身可能是连续分布或者离散分布），对某个$x$的概率处理：
      $$\begin{array}{rl}\log p_{\theta }({\mathtt{x}}^{(i)})& =\log p_{\theta }({\mathtt{x}}^{(i)},\mathtt{z})-\log p_{\theta }(\mathtt{z}|{\mathtt{x}}^{(i)})\\ & =\log \frac{p_{\theta }({\mathtt{x}}^{(i)},\mathtt{z})}{q_{\varphi }(\mathtt{z}|{\mathtt{x}}^{(i)})}-\log \frac{p_{\theta }(\mathtt{z}|{\mathtt{x}}^{(i)})}{q_{\varphi }(\mathtt{z}|{\mathtt{x}}^{(i)})}(q_{\varphi }(\mathtt{z}|{\mathtt{x}}^{(i)})\ne 0).\end{array}\text{\hspace{1em}(1.1)}$$
      (2.2.2)式两边对$q_{\varphi }(\mathtt{z}|{\mathtt{x}}^{(i)})$求期望得：
      $$\log p_{\theta }({\mathtt{x}}^{(i)})=D_{KL}(q_{\varphi }(\mathtt{z}|{\mathtt{x}}^{(i)})||p_{\theta }(\mathtt{z}|{\mathtt{x}}^{(i)}))+\mathcal{L}(\theta ,\varphi ;{\mathtt{x}}^{(i)})\text{\hspace{1em}(1.2)}$$
      其中：
      L ( θ , ϕ ; x ( i ) ) = ∫ z q ϕ ( z ∣ x ( i ) ) log ⁡   p θ ( z , x ( i ) ) q ϕ ( z ∣ x ( i ) ) d z D K L ( q ϕ ( z ∣ x ( i ) ) ∣ ∣ p θ ( z ∣ x ( i ) ) ) = − ∫ z q ϕ ( z ∣ x ( i ) ) log ⁡   p θ ( z ∣ x ( i ) ) q ϕ ( z ∣ x ( i ) ) d z \\colorblue\\ \\beginaligned \\mathcalL(\\theta,\\phi;\\mathttx^(i))&=\\int_z q_\\phi(\\mathttz|\\mathttx^(i)) \\log\\ \\fracp_\\theta (\\mathttz,\\mathttx^(i))q_\\phi(\\mathttz|\\mathttx^(i))dz\\\\ D_KL(q_\\phi(\\mathttz|\\mathttx^(i))||p_\\theta (\\mathttz|\\mathttx^(i)))&= - \\int_z q_\\phi(\\mathttz|\\mathttx^(i))\\log\\ \\fracp_\\theta (\\mathttz|\\mathttx^(i))q_\\phi(\\mathttz|\\mathttx^(i))dz \\endaligned L(θ,ϕ;x(i))D以上是关于VAE与CVAE的主要内容，如果未能解决你的问题，请参考以下文章

      一文搞懂变分自编码器(VAE, CVAE)

      BicycleGAN详解与实现

      基于VAE-SVDD的ADS-B异常数据检测模型

      基于VAE-SVDD的ADS-B异常数据检测模型

      基于VAE-SVDD的ADS-B异常数据检测模型

      基于VAE-SVDD的ADS-B异常数据检测模型