Wasserstein距离

Posted 2021-06-15 MorStar-Lab

1. 概述

Wasserstein距离可以度量两个概率分布之间的距离，由于它的计算过程可以很形象的用挖土填土来解释，故也叫做推土机距离（Earth Mover\'s distance）。在该距离定义中，一个分布转变为另一个分布的过程和挖土填土的过程十分相似。
举个例子，假设有两个分布P和Q，每个分布各有十铲土，且均将十铲土分为四堆。每一堆土的数量(单位铲)如下所示:

\\[\\begin{gathered} P_{1}=3, P_{2}=2, P_{3}=1, P_{4}=4 \\\\ Q_{1}=1, Q_{2}=2, Q_{3}=4, Q_{4}=3 \\end{gathered} \\]

为让两分布相同，进行如下操作：

• P1移两铲土到P2，此时P1和Q1均只有1铲土，P1和Q1匹配
• P2移两铲土到P3，此时P2和Q2均只有2铲土，P2和Q2匹配
• Q3移一铲土到Q4，此时P、Q分布一致

若我们把 \\(P_i\\) 和 \\(Q_i\\) 匹配的代价记做 \\(δi\\)，则 \\(\\delta_{i+1}=\\delta_{i}+P_{i}-Q_{i}\\)
在上述例子中：

\\[\\begin{aligned} &\\delta_{0}=0 \\\\ &\\delta_{1}=0+3-1=2 \\\\ &\\delta_{2}=2+2-2=2 \\\\ &\\delta_{3}=2+1-4=-1 \\\\ &\\delta_{4}=-1+4-3=0 \\end{aligned} \\]

最终得到Wasserstein距离 \\(W=\\sum\\left|\\delta_{i}\\right|=5\\)

参考链接

https://blog.csdn.net/weixin_36482670/article/details/113323913
https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGAN.html#wasserstein-gan-wgan