读点paperirgan

Posted 2020-10-30 小卡的土豆园

paper： 《IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models》

看了有一阵子发现有些忘记了，还是记在这里。

了解IRGAN首先要了解GAN：Generative Adverserial Net。原来的模型一般分为生成模型和判别模型。

生成模型：学习联合概率密度分布P(X,Y)，生成模型可以学习X，Y的联合分布，也可以通过贝叶斯公式推导出P(Y|X)。

               生成模型求解思路：联合分布->求解类别先验概率和类别条件概率

               常见的生成模型像朴素贝叶斯，HMM，LDA

判别模型：直接学习决策函数或者条件概率分布P（Y|X）的模型称之为判别模型，判别模型不关心整体的分布只关心各组X之间Y的差异。

               判别模型求解思路：条件分布->模型参数后验概率最大->（似然函数参数先验）最大->最大似然

               常见的判别模型像决策树，SVM，CRF

参考博客：https://blog.csdn.net/zouxy09/article/details/8195017

 

GAN巧妙的同时使用了这两种模型，生成模型用来刻画数据的分布，判别模型用来判别一个sample是生成模型生成的还是来自原数据。生成模型的目标函数是最大话判别模型犯错的概率，而判别模型的目标函数是最大化判别模型的正确率。就像一场警察和小偷的游戏。最终判别模型的结果会无限接近于1/2.