浅谈分布式鲁棒随机优化之Wasserstein度量

Posted 2023-04-27

参考技术A       在前文浅谈分布式鲁棒随机优化中介绍了基于度量构造的模糊集是现下分布式鲁棒优化较为热门的模糊集构造方式之一。其中根据Wasserstein距离来度量两个分布之间的距离进而构造出基于Wasserstein的模糊集是大家比较感兴趣的，接下来主要介绍Wasserstein距离。

       Wasserstein距离来源于最优运输问题。最优运输问题是寻找概率测度间的最优传输变换的一类特殊的优化问题，它揭示了概率分布空间的内在规律，直观的解释是：假设有两个工地 和 ，工地 上有 堆土，工地 上有 个坑，现在要将工地 上的 堆土全部移动到工地 上的 个坑中，寻求使所做的功最小的运输方案。在最优运输方案下做的功就是工程领域中常遇到的推土机距离（Earth Mover distance or Wasserstein distance ). 接下来给出Wasserstein distance 定义：

定义（Wasserstein distance）设 表示包含 all probability distributions  supported on  with  的概率空间。The Wasserstein metric  is defined via:

                       

for all distributions  ,where  is a joint distribution of  and  with marginals  and  ,respectively .

注：当 时，Wasserstein度量也称为Kantorovich度量。

      由定义可知，Wasserstein距离的 次方是最优传输问题在代价函数为 时的最小传输代价，此外[2]中证明了Wasserstein 距离满足度量定义的三条性质（对称性、正定性、三角不等式）。

接下来给出 dual representation of the Wasserstein metric :

(dual representation of the Wasserstein metric) For any distributions we have

                     ,

where denotes the space of all Lipschitz functions. The dual representation implies that two distributions and are close to each other with respect to the Wasserstein metric if and only if all functions with uniformly bounded  slopes have similar integrals under and .

        如果给定 个历史数据集 ，则其经验分布为 ,有了历史数据的经验分布就可以利用Wasserstein距离来构造模糊集了，模糊集构造如下：

                         

        从表达式可以看出，这个模糊集是以 为中心，以 为半径的一个概率分布空间的球体，随机变量 的unknown true distribution 以较高的置信度包含在这个Wasserstein球内。

[1] Esfahani P.M., Kuhn D. Data-driven Distributionally Robust Optimization Using the Wasserstein Metric: Performance Guarantees and Tractable Reformulations[J]. Mathematical Programming, 2018, 171(1/2):115-166.

[2]Santamorogio F. Optimal Transport for Applied Mathematic [M]. Birkauser, Cham, 2015.

[3]马丽涛, 边伟. 最优传输理论及其在图像处理中的应用[J]. 运筹学报.2019,23(3).

计算智能基础理论与方法之进化规则浅谈

 

        进化规则是为了求解预测问题而提出的一种有限状态机模型，其中机器的状态是基于基本均匀随机分布的规律进行变异，可用于求解静态和非静态时间序列的预测问题。应用于人工智能以及其他复杂系统领域的优化问题。

        进化计算中常用的两种算法，进化规则和遗传算法。进化规则算法在运行过程中，主要是模拟和借鉴了生物在进化过程中对环境具有的自适应性，也就是在变异过程中只有个体的变异（适应环境），而没有个体之间的配对和交叉（保留父代的优秀基因）操作。这也是进化规则算法与别的进化算法的独特之处。

       进化规则算法是从整体的角度来模拟生物的进化过程的，强调整个种群的进化。进化规则算法在运行过程中可视作一个整体，由按照某种目的（如优化）而相互密切关联的不同的部分组成，衡量进化规则算法的设计成功与否的判断标准也是从其整体表现行为上来看的，而不是由这个整体中个别组成部分的好坏来决定。因此，进化规则算法只有对外界环境的行为响应的好坏才具有判断和选择价值。至于这种整体响应是如何产生的以及具体的细节，则不是算法设计所要的主要因素。

       针对工程领域的复杂优化问题，特别是存在较多局部极值点的函数优化问题以及多模态函数优化问题，进化规则算法的实际运行效果都比遗传算法表现出更为明显的优势