GAN中判别器与极大似然估计的关联

Posted 2023-02-03 xuweimdm

在GAN中，对于判别器D来说，实际上就是一个普通的二分类问题。

根据文章《交叉熵，KL散度以及多分类问题下的极大似然估计》当中的思考，对于二分类问题的极大似然估计，有如下式子成立：

$$\\beginalign L(X,Y,\\theta) &=\\int_x \\int_y p(x,y) \\log q(y|x)dydx \\\\ &= \\int p(x) [p(y_i=1|x_i)\\log q(y_i=1|x_i) + p(y_i=0|x_i)\\log q(y_i=0|x_i)]dx \\\\ \\endalign$$

那么，将上式的最后一步重新写成联合概率的形式，有

$$\\beginalign L(X,Y,\\theta) & = \\int [p(x,y=1)\\log q(y=1|x) + p(x,y=0)\\log q(y=0|x)]dx\\\\ &= \\int [p(x,y=1)\\log q(y=1|x) + p(x,y=0)\\log q(y=0|x)]dx\\\\ \\endalign$$

对应到GAN中来，D分类器要做的就是给定一个x，需要判断这个样本x是属于real data还是generated data，如果我们把属于real data当作y=1，generated data当作y=0，那么便有

$$\\beginalign L(X,Y,\\theta) &= \\int [p(x,y=1)\\log q(y=1|x) + p(x,y=0)\\log q(y=0|x)]dx\\\\ &= \\int [p(x \\in real)\\log q(y=1|x) + p(x\\in fake)\\log q(y=0|x)]dx\\\\ &= \\int p_r(x)\\log q(y=1|x)dx + \\int p_g(x)\\log q(y=0|x)]dx\\\\ &= \\int p_r(x)\\log D(x)dx + \\int p_g(x)\\log(1-D(x))dx\\\\ &= E_p_r(x)[\\log(D(x))] + E_p_g(x)[\\log(1-D(x))]\\<p>以上是关于GAN中判别器与极大似然估计的关联的主要内容，如果未能解决你的问题，请参考以下文章</p> <p > <a style="color:blue;" href="https://it.cha138.com/jingpin/show-59748.html">朴素贝叶斯与逻辑回归</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/nginx/show-256768.html">机器学习笔记：高斯判别分析</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/shida/show-5668059.html">极大似然估计的原理是啥？</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/ios/show-4257688.html">贝叶斯分类器（2）极大似然估计、MLE与MAP</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/jingpin/show-3077067.html">逻辑回归为啥用最大似然估计求解</a></p> <p > <a style="color:blue;" href="https://it.cha138.com/shida/show-399244.html">B-概率论-极大似然估计</a></p> </article> </div> </div> </div> </section> </div> </div> <script type="text/javascript" src="https://it.cha138.com/skin/m03sred/style/js/fixit.js">$$