算法导论—分治法思想动态规划思想贪心思想

Posted 2023-03-02 之墨_

算法导论—分治法思想、动态规划思想、贪心思想

• • 分治法的思想：
  • 动态规划：
  • 贪心算法：
  • • 贪心算法求解问题的条件：
    • 设计贪心算法的步骤：

分治法的思想：

将原问题分解为几个规模较小但类似于原问题的子问题，递归地求解这些子问题，然后再合并这些子问题的解来建立原问题的解。
分治模式在每层递归时都有三个步骤：
分解原问题为若干子问题，这些子问题是原问题的规模较小的实例。
解决这些子问题，递归地求解各子问题。然而，若子问题的规模足够小，则直接求解。
合并这些子问题的解成原问题的解。
归并排序算法完全遵循分治模式。直观上其操作如下：
分解：分解待排序的n个元素的序列成各具n/2个元素的两个子序列
解决：使用归并排序递归地排序两个子序列
合并：合并两个已排序的子序列以产生已排序的答案

求解递归式：

1. 代入法求解
2. 递归树方法
3. 主方法

动态规划：

每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。
基本思想与分治法类似，也是将待求解的问题分解为若干个子问题(阶段)，按顺序求解子阶段，前一问题的解，为后一问题的求解提供了有用的信息。在求解任意子问题时，列出各种可能的局部解，通过决策保留那些有可能达到最优的局部解，丢弃其他局部解。依次解决各子问题，最后一个子问题就是初始问题的解。
由于动态规划解决的问题多数有重叠子问题这个特点，为减少重复计算，对每个子问题只解一次，将其不同阶段的不同状态保存在一个二维数组中。
与分治法最大的区别是：适用于用动态规划法求解的问题，经分解后得到的子问题往往不是互相独立的（即下一个子阶段的求解是建立在上一个子阶段的解的基础上）
动态规划的关键点：
1、最优化原理，也就是有最优子结构性质。这指的是一个最优化策略具有这样的性质，无论过去状态和决策如何，对前面的决策所形成的状态而言，余下的决策必须构成最优策略，简单来说就是一个最优化策略的子策略总是最优的，如果一个问题满足最优化原理，就称其具有最优子结构性质
2、无后效性，指的是某个状态下的决策的收益，只与状态和决策相关，与达到该状态的方式无关
3、子问题的重叠性，动态规划将原来指数级的暴力搜索算法改进到了具有多项式时间复杂度的算法，其中的关键在于解决了冗余、重复计算的问题
基本步骤：

1. 刻画一个最优解的结构特征,如果一个问题的最优解包含其子问题的最优解，我们就称此问题具有最优子结构性质。
2. 递归地定义最优解的值
3. 计算最优解的值，通常采用自底向上的方法
4. 利用计算出的信息构造一个最优解

多项式时间算法 (polynomial time algorithm) 表示：算法的复杂度与输入的规模呈多项式关系。
伪多项式时间算法 (pseudopolynomial time algorithm) 表示：算法的复杂度与输入规模呈指数关系，与输入的数值大小呈多项式关系。
举两个对比的例子：
冒泡排序：给定 n 个64位的数字，进行 n-1 次扫描交换，将数字从小到大排序。
素数测试：给定数字 n，通过从 2 到根号 n 的整数遍历，判断 n 是否为素数。字面上看，两者复杂度都是 $O(n^k)$( k 为整数) 。但区别在于，前者的 n 是数字个数的多少，后者的 n 是数字的大小。因此，前者输入总规模 s1 增长与数字大小无关，s1 = 64n；后者增长规模与数字大小紧密相关，输入总规模为 s2 = logn 。所以可知冒泡排序中复杂度 $O(n^2)=O(s{1}^2/64^2)$ 为多项式算法，后者素数测试$O(n)=O(2^{s_2})$为伪多项式算法

0-1背包问题是伪多项式时间复杂度，对于具有N个项目且尺寸为W的背包的无界背包问题，运行时间为$O(NW)$。W在输入长度上不是多项式，这就是伪多项式的原因。

考虑W = 1,000,000,000,000。它仅用40位来表示该数字，因此输入大小= 40，但是计算运行时使用的因子为1,000,000,000,000，即$O(2^{40})$。

因此，运行时间更准确地说是$O(N\cdot 2^W)$，它是指数。

贪心算法：

贪心算法求解问题的条件：

1. 贪心选择性质：我们可以通过做出局部最优选择来构造全局最优解
2. 最优子结构：一个问题的最优解包含其子问题的最优解

设计贪心算法的步骤：

1. 将最优化问题转换形式：对其做出一次选择后，只剩下一个子问题需要求解
2. 证明做出贪心选择后，原问题总是存在最优解，即贪心选择总是安全的
3. 证明做出贪心选择后，剩余的子问题满足性质：其最优解与贪心选择组合即可得到原问题的最优解，这样就得到了最优子结构