Heterogeneous Attentions for Solving Pickup and Delivery Problem via Deep Reinforcement Learning

Posted 2023-01-09 好奇小圈

文章目录

• 前言
• 一、PDP问题
• 二、方法
• • 1.PDP问题的RL形式
  • 2.基于异构注意力的策略网络
  • • （1）编码器：
    • （2）译码器
    • （3）训练算法
• 实验与分析
• 总结

---

前言

论文阅读笔记：Heterogeneous Attentions for Solving Pickup and Delivery Problem via Deep Reinforcement Learning

---

一、PDP问题

定义：载具从仓库开始，依次访问所有取货节点和配送节点，只执行一次服务，最后返回仓库，尽可能地节省时间。注意，这里PDP允许连续的拾取或交付，或它们的混合，只要它满足优先约束。

$n$：客户请求数量
$P=x_i{}_{i=1}^n$：pickup node set
$D=x_i{}_{i=n+1}^{2n}$：delivery node set
$x_i$：pickup node
$x_{n+1}$：delivery node，与 pickup node 为成对的，具有优先级关系
仓库：node 0
$X=x_0\cup P\cup D$：complete node set
$X^{\prime }=x_{2n+1}\cup X=x_i{}_{i=0}^{2n+1}$：其中$x_{2n+1}$为仓库的copy
$c_i$：包含$x_i$二维坐标
$v$：载具，从$x_i$全部运输到从$x_i+n$（有无限的运输能力）
$D_{ij}$：表示节点$x_i$到节点$x_j$的欧氏距离
$f$为载具$v$的速度
$y_{ij}\in 0,1$：二元变量，指示载具$v$是否直接从节点$x_i$到节点$x_j$
$B_i$：表示节点$x_i$的到达时间
$M$是一个足够大的数

为追求速度尽量快、距离尽量短，可以得到如下目标函数：
$$\min \sum _{i\in X}\sum _{j\in X}\frac{D_{ij}}{f}{y}_{ij}$$
约束条件如下：
$$\begin{array}{rl}\sum _{j\in X}{y}_{ij}& =1,i\in X^{\prime }\\ \sum _{i\in X}{y}_{ij}& =1,j\in X^{\prime }\\ B_j& \ge B_i+\frac{D_{ij}}{f}-M\left(1-y_{ij}\right),i\in X^{\prime },j\in X^{\prime }\\ B_{i+n}& \ge B_i+\frac{D_{i,i+n}}{f},i\in P,i+n\in D\\ y_{ij}& =0,1,i\in X^{\prime },j\\ B_i& \end{array}$$

What is Heterogeneous Computing?

04课 正确使用heterogeneous类型的元件

目标检测61Dynamic Head Unifying Object Detection Heads with Attentions

Heterogeneous Storages in HDFS

Heterogeneous Storages in HDFS