论文研读：WGAN

Posted 2023-03-17

参考技术A

Wasserstain-GAN 是 GAN 中非常重要的一个工作 ，文章：

已有的一些距离，定义 为 compact metrix set (随机变量)， 是 的波莱尔子集(?)， 是所有定义在 上的分布的空间，对于两个分布 有以下的距离的定义：

这四种距离:

文章作者举了例子来阐述了EM距离在连续性上的优越性：

令 ， 是 二维随机变量的分布，而 是二维随机变量 的随机分布族，其中 是超参数。

可以发现，当且仅当 时， 和 是同一分布 ，而当 时， 和 是完全没有交集的两个分布 ，下面我们可以分情况计算这四种距离：

比较这四种距离，发现只有EM距离对于 是连续的， 只有EM距离可以使得当 时，分布族 收敛到 ，而且当两个分布完全不相交时，其他距离对于 的导数是0，使得无法通过梯度下降学习。

EM距离中的 计算是非常困难的，作者使用了Kantorovich-Rubinstein对偶，将距离变成了另一个公式：

上式的意思是，对所有满足 1-Lipschitz 的函数 ， 的上确界。

将 1-Lipschitz 条件替换为 K-Lipschitz 条件( 为任意常数)，如果我们有满足 K-Lipschitz 条件的函数族 ( )，把求解 变成求最优值的问题：

这里就可以引入函数的万能近似器NN了，将其中的 和 替换，最终得到的WGAN的优化目标为：

其中 表示满足Lipschitz-1条件的函数族。

WGAN的训练过程如下图所述：

不难看出D训练地越好，越能反应真实的Wasserstain距离，所以作者也提出可以 将损失函数的值作为Wasserstain距离的近似，衡量WGAN学习的好坏。

总结的上图的要点有：

一点经验之谈：

WGAN使得训练GAN更加容易，至于Mode Collapse，作者只是提到在实验中并没有发现这一现象。

Lipschitz条件的定义：

直观上看，就是函数 任意两点连线斜率小于 。

满足上述条件的函数也称Lipschitz连续，比起连续的函数，满足Lipschitz连续的函数更加光滑，而且它对函数的变化做了要求： 函数在任意区间的变化不能超过线性的变化 ， 线性变化的大小不超过Lipschitz常数 。

在非凸优化中，Lipschitz条件对函数定义了一类边界。

文章是为了方便自己理解而写，所以难免有不清楚或错误之处、或者自创的方便理解的术语，如有错误，欢迎指正。

五，论文研读

五，论文研读

• 论文名称：陈子健，朱晓亮.基于教育数据挖掘的在线学习者学业成绩预测建模模型.
• 研究对象
  从教育数据中挖掘影响在线学习者成绩学业成绩的因素并构建分类预测模型。
• 研究动机
  学业成绩的预测和评价是全世界教育研究者共同关注的话题，如何对在线学习者的学业成绩进行预测便于提供预警和其他干预措施。
• 文献综述
  该研究中的学业成绩预测模型主要是利用已知学生学业成绩类别的训练数据得到一个分类函数或分类模型（分类器），并评估模型的性能。
• 研究方案设计
  • 预测算法
    研究主要是预测在学习结束时学业成绩的类别，为预测离散的值，故采用分类策略。
    常用分类算法
    BN，DT，ANN，SVM（训练单一分类器）
  • 集成学习
    集体决策优于个体决策（装袋，提升，随机森林）
  • 实验设计
    上述四种分类算法在训练集上训练单一分类器，然后分别以四种算法训练基分类器，再利用三种集成学习构成集成分类器。
    对比单一分类器和集成分类器的性能。
  • 实验结果分析
    BN，DT，ANN，通过构建集成分类器都能不同程度的提升分类性能，SVM并不明显。
• 使用数据集
  研究使用的约旦大学e-Learning学业成绩数据集（xAPI-Edu-Date）
• 研究结论
  
• 学习心得
  很好的一篇文献，读的时候结合了数据挖掘第八章8.6节“提高分类准确率技术”，文献中明确给出了数据集来源，不过网址打开出现404，此外对文献作者有进一步了解。