如何理解动态规划？

Posted 2021-04-18 大话信号处理

内容转载自知乎问答「什么是动态规划（Dynamic Programming）？动态规划的意义是什么？」下阮行止的回答，本文仅在格式上做了适量重新编排。

作者：洛谷网校 阮行止
来源：知乎

---

写在前面

很有意思的问题。以往见过许多教材，对动态规划（DP）的引入属于“奉天承运，皇帝诏曰”式：不给出一点引入，见面即拿出一大堆公式吓人；学生则死啃书本，然后突然顿悟。

针对入门者的教材不应该是这样的。

恰好我给入门者讲过四次DP入门，迭代出了一套比较靠谱的教学方法，所以今天跑过来献丑。　　

现在，我们试着自己来一步步“重新发明”DP。

从一个生活问题谈起

先来看看生活中经常遇到的事吧：

假设您是个土豪，身上带了足够的1、5、10、20、50、100元面值的钞票。现在您的目标是凑出某个金额w，需要用到尽量少的钞票。

依据生活经验，我们显然可以采取这样的策略：能用100的就尽量用100的，否则尽量用50的……依次类推。

在这种策略下，666=6×100+1×50+1×10+1×5+1×1，共使用了10张钞票。　　

这种策略称为“贪心”：假设我们面对的局面是“需要凑出w”，贪心策略会尽快让w变得更小。能让w少100就尽量让它少100，这样我们接下来面对的局面就是凑出w-100。

长期的生活经验表明，贪心策略是正确的。　　

但是，如果我们换一组钞票的面值，贪心策略就也许不成立了。

如果一个奇葩国家的钞票面额分别是1、5、11，那么我们在凑出15的时候，贪心策略会出错：

15=1×11+4×1 （贪心策略使用了5张钞票）　　15=3×5 （正确的策略，只用3张钞票）　　

为什么会这样呢？贪心策略错在了哪里？

鼠目寸光。

刚刚已经说过，贪心策略的纲领是：“尽量使接下来面对的w更小”。这样，贪心策略在 w=15 的局面时，会优先使用 11 来把 w 降到 4；但是在这个问题中，凑出 4 的代价是很高的，必须使用 4×1。如果使用了 5，w 会降为 10，虽然没有 4 那么小，但是凑出 10 只需要两张 5 元。

在这里我们发现， 贪心是一种只考虑眼前情况的策略。

那么，现在我们怎样才能避免鼠目寸光呢？

如果直接暴力枚举凑出w的方案，明显复杂度过高。太多种方法可以凑出w了，枚举它们的时间是不可承受的。我们现在来尝试找一下性质。

重新分析刚刚的例子。w=15 时，我们如果取 11，接下来就面对 w=4 的情况；如果取 5，则接下来面对 w=10 的情况。

我们发现这些问题都有相同的形式：“给定 w，凑出 w 所用的最少钞票是多少张？”接下来，我们用 f(n) 来表示“凑出 n 所需的最少钞票数量”。

那么，如果我们取了  11，最后的代价（用掉的钞票总数）是多少呢？

明显 cost = f(4) + 1 = 4 + 1 = 5。它的意义是：利用 11 来凑出 15，付出的代价等于 f(4) 加上自己这一张钞票。现在我们暂时不管 f(4) 怎么求出来。依次类推，马上可以知道：如果我们用 5 来凑出 15，cost就是 f(10) + 1 = 2 + 1 = 3。

那么，现在 w=15 的时候， 我们该取那种钞票呢？

当然是各种方案中，cost 值最低的那一个！

取11：cost = f(4) + 1 = 4 + 1 = 5取5：cost = f(10) + 1 = 2 + 1 = 3取1：cost = f(14) + 1 = 4 + 1 = 5

显而易见，cost 值最低的是取 5 的方案。

我们通过上面三个式子，做出了正确的决策！

这给了我们一个至关重要的启示： f(n) 只与f(n-1)，f(n-5)，f(n-10)相关；更确切地说：

这个式子是非常激动人心的。

我们要求出 f(n)，只需要求出几个更小的f值；既然如此，我们从小到大把所有的f(i)求出来不就好了？注意一下边界情况即可。代码如下：

我们以 O(n) 的复杂度解决了这个问题。

现在回过头来，我们看看它的原理：

• f(n) 只与f(n-1)，f(n-5)，f(n-10)的值相关

• 我们只关心 f(w) 的值，不关心是怎么凑出 w 的

这两个事实，保证了我们做法的正确性。它比起贪心策略，会分别算出取1、5、11的代价，从而做出一个正确决策，这样就避免掉了“鼠目寸光”！

它与暴力的区别在哪里？

我们的暴力枚举了“使用的硬币”，然而这属于冗余信息。我们要的是答案，根本不关心这个答案是怎么凑出来的。譬如，要求出 f(15)，只需要知道 f(14), f(10), f(4) 的值。其他信息并不需要。

我们舍弃了冗余信息。我们只记录了对解决问题有帮助的信息：f(n)。　　

我们能这样干，取决于问题的性质： 求出f(n)，只需要知道几个更小的f(c)。我们将求解f(c)称作求解f(n)的“子问题”。

这就是DP（动态规划，dynamic programming）：将一个问题拆成几个子问题，分别求解这些子问题，即可推断出大问题的解。

思考题：请稍微修改代码，输出我们凑出w的方案。

几个简单的概念

无后效性

一旦 f(n) 确定，“我们如何凑出 f(n) ”就再也用不着了。　　

要求出 f(15)，只需要知道 f(14), f(10), f(4) 的值，而 f(14), f(10), f(4) 是如何算出来的，对之后的问题没有影响。

“未来与过去无关”，这就是无后效性。

严格定义：如果给定某一阶段的状态，则在这一阶段以后过程的发展不受这阶段以前各段状态的影响。

最优子结构

回顾我们对 f(n) 的定义：我们记“凑出 n 所需的最少钞票数量”为 f(n)。f(n)的定义就已经蕴含了“最优”。

利用 w=14, 10, 4 的最优解，我们即可算出 w=15 的最优解。

大问题的最优解可以由小问题的最优解推出，这个性质叫做“最优子结构性质”。

引入这两个概念之后，我们如何判断一个问题能否使用DP解决呢？

能将大问题拆成几个小问题，且满足无后效性、最优子结构性质。

DP的典型应用：DAG最短路

问题很简单：给定一个城市的地图，所有的道路都是单行道，而且不会构成环。每条道路都有过路费，问您从S点到T点花费的最少费用。

一张地图，边上的数字表示过路费　

这个问题能用DP解决吗？

我们先试着记从 S 到 P 的最少费用为 f(P)。想要到 T，要么经过 C，要么经过 D。从而：

好像看起来可以DP。

现在我们检验刚刚那两个性质：

无后效性：对于点 P，一旦 f(P) 确定，以后就只关心 f(P) 的值，不关心怎么去的。

最优子结构：对于 P，我们当然只关心到 P 的最小费用，即 f(P) 。如果我们从 S 走到 T 是 S-P-Q-T，那肯定 S 走到 Q 的最优路径是 S-P-Q。对一条最优的路径而言，从S走到沿途上所有的点（子问题）的最优路径，都是这条大路的一部分。这个问题的最优子结构性质是显然的。

既然这两个性质都满足，那么本题可以 DP。式子明显为：

其中R为有路通到P的所有的点，为R到P的过路费。

代码实现也很简单，拓扑排序即可。

DP原理的一点讨论

DP 的核心思想

DP 为什么会快？

无论是DP还是暴力，我们的算法都是在可能解空间内，寻找最优解。

来看钞票问题。

暴力做法是枚举所有的可能解，这是最大的可能解空间。

DP 是枚举有希望成为答案的解，这个空间比暴力的小得多。

也就是说：DP 自带剪枝。

DP 舍弃了一大堆不可能成为最优解的答案。譬如：

15 = 5+5+5 被考虑了。　　

15 = 5+5+1+1+1+1+1 从来没有考虑过，因为这不可能成为最优解。

从而我们可以得到 DP 的核心思想：尽量缩小可能解空间。

在暴力算法中，可能解空间往往是指数级的大小；如果我们采用DP，那么有可能把解空间的大小降到多项式级。

一般来说，解空间越小，寻找解就越快。这样就完成了优化。

DP的操作过程

一言以蔽之：大事化小，小事化了。

将一个大问题转化成几个小问题；求解小问题；推出大问题的解。

如何设计DP算法

下面介绍比较通用的设计DP算法的步骤：

首先，把我们面对的局面表示为 x。这一步称为设计状态。

对于状态 x，记我们要求出的答案(e.g. 最小费用)为 f(x)。我们的目标是求出 f(T)。

找出 f(x) 与哪些局面有关（记为p），写出一个式子（称为状态转移方程），通过f(p)来推出f(x)。

DP 三连

设计DP算法，往往可以遵循 DP 三连：

• 我是谁？  ——设计状态，表示局面

• 我从哪里来？

• 我要到哪里去？  ——设计转移

设计状态是 DP 的基础。接下来的设计转移，有两种方式：

一种是考虑我从哪里来（本文之前提到的两个例子，都是在考虑“我从哪里来”）。

另一种是考虑我到哪里去，这常见于求出 f(x) 之后，更新能从 x 走到的一些解。这种 DP 也是不少的，我们以后会遇到。

总而言之，“我从哪里来”和“我要到哪里去”只需要考虑清楚其中一个，就能设计出状态转移方程，从而写代码求解问题。前者又称 pull 型的转移，后者又称 push 型的转移。

思考题：如何把钞票问题的代码改写成“我到哪里去”的形式？提示：求出 f(x) 之后，更新 f(x+1), f(x+5), f(x+11)。

例题：最长上升子序列

扯了这么多形而上的内容，还是做一道例题吧。

最长上升子序列（LIS）问题：给定长度为 n 的序列 a，从 a 中抽取出一个子序列，这个子序列需要单调递增。问最长的上升子序列（LIS）的长度。

e.g. 1,5,3,4,6,9,7,8的 LIS 为1,3,4,6,7,8，长度为6。

如何设计状态（我是谁）？

我们记 f(x) 为以 ax 结尾的 LIS 长度，那么答案就是 max{f(x)}。

状态x从哪里推过来（我从哪里来）？

考虑比x小的每一个 p：如果 ax > ap，那么 f(x) 可以取 f(p)+1。

解释：我们把 ax 接在 ap 的后面，肯定能构造一个以 ax 结尾的上升子序列，长度比以 ap 结尾的 LIS 大1。那么，我们可以写出状态转移方程了：

至此解决问题。两层for循环，复杂度 O(n^2)。

 

从这三个例题中可以看出，DP 是一种思想，一种“大事化小，小事化了”的思想。带着这种思想，DP 将会成为我们解决问题的利器。

最后，我们一起念一遍DP三连吧——我是谁？我从哪里来？我要到哪里去？

·END·

---

你可能还感兴趣：

信号君：寻求简单之道

专注数字信号处理、计算机体系结构

赠人玫瑰，手有余香