算法—动态规划法（基本介绍）

Posted 2021-04-18 湖中代码

“本文可作为课前预习参考文章，对动态规划有一个初步的了解，动态规划法是一种求解最优化问题的重要算法设计策略。”

01

—

基本概念

          动态规划采用分步决策的方式求解问题

      动态规划过程是：每次决策依赖于当前状态。又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这样的多阶段最优化决策解决这个问题的过程就称为动态规划。

         假设问题是由交叠的子问题所构成，我们就能够用动态规划技术来解决它。一般来说，这种子问题出如今对给定问题求解的递推关系中，这个递推关系包括了同样问题的更小子问题的解。动态规划法建议，与其对交叠子问题一次重新的求解，不如把每一个较小子问题仅仅求解一次并把结果记录在表中（动态规划也是空间换时间的）。这样就能够从表中得到原始问题的解。

   动态规划经常常使用于解决最优化问题，这些问题多表现为多阶段决策。

 

1. 多阶段决策：

        在实际中，人们经常遇到这样一类决策问题：即因为过程的特殊性，能够将决策的全过程根据时间或空间划分若干个联系的阶段。

        而在各阶段中。人们都须要作出方案的选择。我们称之为决策。而且当一个阶段的决策之后，经常影响到下一个阶段的决策，从而影响整个过程的活动。这样，各个阶段所确定的决策就构成一个决策序列，常称之为策略。

        因为各个阶段可供选择的决策往往不止一个。因而就可能有很多决策以供选择，这些 可供选择的策略构成一个集合，我们称之为同意策略集合（简称策略集合）。每一个策略都对应地确定一种活动的效果。我们假定这个效果能够用数量来衡量。

        因为不同的策略经常导致不同的效果，因此，怎样在同意策略集合中选择一个策略，使其在预定的标准下达到最好的效果。经常是人们所关心的问题。我们称这种策略为最优策略，这类问题就称为多阶段决策问题。

  

 2.    多阶段决策问题举例：机器负荷分配问题

      某种机器能够在高低两种不同的负荷下进行生产。在高负荷下生产时。产品的年产量g和投入生产的机器数量x的关系为g=g(x)，这时的年完善率为a，即假设年初完善机器数为x，到年终时完善的机器数为a*x(0<a<1)；在低负荷下生产时，产品的年产量h和投入生产的机器数量y的关系为h=h(y)。对应的完善率为b(0<b<0)。且a<b。

       假定開始生产时完善的机器熟练度为s1。

    要制定一个五年计划，确定每年投入高、低两种负荷生产的完善机器数量，使5年内产品的总产量达到最大。

       这是一个多阶段决策问题。

       显然能够将全过程划分为5个阶段（一年一个阶段），每一个阶段開始时要确定投入高、低两种负荷下生产的完善机器数，并且上一个阶段的决策必定影响到下一个阶段的生产状态。决策的目标是使产品的总产量达到最大。这个问题常常使用数学方法建模，结合线性规划等知识来进行解决。

02

—

基本思想与策略

       基本思想与分治法类似，也是将待求解的问题分解为若干个子问题，按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了实用的信息。

        在求解任一子问题时，列出各种可能的局部解，通过决策保留那些有可能达到最优的局部  解，丢弃其它局部解。依次解决各子问题，最后一个子问题就是初始问题的解。

     因为动态规划解决的问题多数有重叠子问题这个特点。为降低反复计算。对每个子问题仅仅解一次，将其不同阶段的不同状态保存在一个二维数组中。

     与分治法最大的区别是：适合于用动态规划法求解的问题，经分解后得到的子问题往往不是互相独立的（即下一个子阶段的求解是建立在上一个子阶段的解的基础上，进行进一步的求解）。

03

—

适用的情况

   能采用动态规划求解的问题的一般要具有3个性质：

（1）、最优化原理：假设问题的最优解所包括的子问题的解也是最优的，就称该问题具有最优子结构，即满足最优化原理。

（2）、无后效性：即某阶段状态一旦确定。就不受这个状态以后决策的影响。也就是说，某状态以后的过程不会影响曾经的状态。仅仅与当前状态有关；

（3）、有重叠子问题：即子问题之间是不独立的，一个子问题在下一阶段决策中可能被多次使用到（该性质并非动态规划适用的必要条件，可是假设没有这条性质。动态规划算法同其它算法相比就不具备优势）。

04

—

求解基本步骤

        动态规划所处理的问题是一个多阶段决策问题。一般由初始状态开始。通过对中间阶段决策的选择，达到结束状态。这些决策形成了一个决策序列。同一时候确定了完毕整个过程的一条活动路线(一般是求最优的活动路线)。动态规划的设计都有着一定的模式。一般要经历下面几个步骤。

    初始状态→│决策1│→│决策2│→…→│决策n│→结束状态

（1）划分阶段：依照问题的时间或空间特征。把问题分为若干个阶段。在划分阶段时。注意划分后的阶段一定要是有序的或者是可排序的。否则问题就无法求解。

（2）确定状态和状态变量：将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。

当然，状态的选择要满足无后效性。

（3）确定决策并写出状态转移方程：由于决策和状态转移有着天然的联系，状态转移就是依据上一阶段的状态和决策来导出本阶段的状态。所以假设确定了决策。状态转移方程也就可写出。但其实经常是反过来做。依据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程。

（4）寻找边界条件：给出的状态转移方程是一个递推式。须要一个递推的终止条件或边界条件。

一般，仅仅要解决这个问题的阶段、状态和状态转移决策确定了。就能够写出状态转移方程（包含边界条件）。

实际应用中能够按下面几个简化的步骤进行设计：

（1）分析最优解的性质。并刻画其结构特征。

（2）递归的定义最优解。

（3）以自底向上或自顶向下的记忆化方式计算出最优值。

（4）依据计算最优值时得到的信息，构造问题的最优解。

05

—

算法实现的说明

       动态规划的主要难点在于理论上的设计，也就是上面4个步骤的确定，一旦设计完毕。实现部分就会很容易。

         使用动态规划求解问题，最重要的就是确定动态规划三要素：问题的阶段、每一个阶段的状态、从前一个阶段转化到后一个阶段之间的递推关系。

       递推关系必须是从次小的问题开始到较大的问题之间的转化，从这个角度来说，动态规划往往能够用递归程序来实现，只是由于递推能够充分利用前面保存的子问题的解来降低反复计算，所以对于大规模问题来说。有递归不可比拟的优势。这也是动态规划算法的核心之处。

         确定了动态规划的这三要素，整个求解过程就能够用一个最优决策表来描写叙述，最优决策表是一个二维表，当中行表示决策的阶段，列表示问题状态。表格须要填写的数据一般相应此问题的在某个阶段某个状态下的最优值（如最短路径。最长公共子序列，最大价值等），填表的过程就是依据递推关系，从1行1列開始，以行或者列优先的顺序，依次填写表格。最后依据整个表格的数据通过简单的取舍或者运算求得问题的最优解。

后续将通过部分案例代码深入了解动态规划法，尽请期待。

关注湖中代码学习更多知识