论文阅读|《面向多目标柔性作业车间调度的强化学习NSGA-Ⅱ算法》
Posted 码丽莲梦露
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了论文阅读|《面向多目标柔性作业车间调度的强化学习NSGA-Ⅱ算法》相关的知识,希望对你有一定的参考价值。
《面向多目标柔性作业车间调度的强化学习NSGA-Ⅱ算法》
重庆大学学报/2021
1 多目标柔性作业车间调度模型
考虑的目标:
(1)最大王时间
(2)机器总负荷
(3)瓶颈机器负荷
2 算法设置
NSGA-Ⅱ过程:
首先对Pt执行选择、交叉、变异操作形成种群Qt,并将两个种群合并为种群Rt,然后对种群Rt进行非支配排序形成多个前列面Fi,并从高到底依次胶乳新一代种群Pt+1,当Fi加入使得种群超出规模大小时,依据拥挤度从大到小将个体加入新一代种群Pt+1。
2.1 双种群进化策略
在进化过程中,根据种群比例参数和性别判定法将种群拆分为两个种群,并对两个种群采用不同的遗传操作。采用性别判定法的拆分种群的流程如下:
对种群1:POX交叉和插入变异方式
对种群2:交叉变异方式,如下:
工序部分:
机器部分:
3 多样性度量
多目标问题中非劣解在近似Pareto前沿上分布的越均匀、越离散则表明多样性越好。常用的指标包括Sigma度量、解间距度量、网格度量、熵度量和个体空间度量等。单一评价指标会导致一定程度的偏差。因此考虑间距和熵度量两个指标对多样性进行度量,并结合强化学习动态控制种群比例参数,实现多目标柔性作业车间调度问题优化求解。
(1)解间距度量(Spaceing Metric)
其中
(2)熵度量(Entropy)
表示个体 i 落入第 i 个划分的概率, |𝑋𝑖 |表示第 i 个划分的个体数目,N 表示整个种群的规模。 种群多样性熵的计算公式为
4 基于强化学习的比例参数调整策略
(1)状态
状态空间由种群解间距值和熵值变化划分为9个,具体定义如表1:
(2)动作
强化学习Agent的动作是对种群比例参数的调整,包括增加、不变、减少三种。
式中,𝛽(𝑡)、𝛽(𝑡 − 1)分别为第 t 和 t-1 代种群的分割比例参数。
(3)奖励
以上是关于论文阅读|《面向多目标柔性作业车间调度的强化学习NSGA-Ⅱ算法》的主要内容,如果未能解决你的问题,请参考以下文章