应用运筹学基础：整数规划 - 线性整数规划割平面法与分枝定界法

Posted 2020-10-15 TsReaper

这一节课开始了整数规划，并讲解了 Gomory 割平面法与分枝定界法（branch and bound）。

这一节课开始了整数规划，并讲解了 Gomory 割平面法与分枝定界法（branch and bound）。

 

线性整数规划

先从最简单的线性整数规划开始。线性整数规划其实就是线性规划加上解必须为整数的限制，其基本形式为 $$\\begin{matrix} \\max\\limits_x & c^Tx \\\\ \\text{s.t.} & Ax \\le b \\\\ & x \\in \\mathbb{N} \\end{matrix}$$ 我们之前见过的很多算法问题都能写成线性整数规划的形式，特别是能写成整数规划的一种特殊形式：0-1 规划。

0-1 背包问题

设共有 $n$ 件物品，$v_i$ 表示第 $i$ 件物品的价值，$w_i$ 表示第 $i$ 件物品的重量，$c$ 表示背包的最大承重，$x_i \\in \\{0, 1\\}$ 表示是否选择第 $i$ 件物品。那么 0-1 背包问题可以写为 $$\\begin{matrix} \\max\\limits_x & \\sum\\limits_{i=1}^n v_ix_i \\\\ \\text{s.t.} & \\sum\\limits_{i=1}^n w_ix_i \\le c \\\\ & x_i \\in \\{0, 1\\} \\end{matrix}$$

最小生成树

设共有 $n$ 个点，点集为 $V$，$(i, j) \\in E$ 表示从第 $i$ 个点连到第 $j$ 个点的一条有向边（一条无向边就相当于两条有向边），$w_{i, j}$ 表示边权，$x_{i, j} \\in \\{0, 1\\}$ 表示这一条边是否在最小生成树内。那么最小生成树问题可以写为 $$\\begin{matrix} \\min\\limits_x & \\sum\\limits_{(i, j) \\in E} w_{i, j}x_{i, j} \\\\ \\text{s.t.} & \\sum\\limits_{(i, j) \\in E} x_{i, j} = n-1 \\\\ & \\sum\\limits_{i \\in S, j \\not\\in S} x_{i, j} \\ge 1 & \\forall S \\;\\unicode{x2acb}\\; V \\\\ & x_{i, j} \\in \\{0, 1\\} \\end{matrix}$$ 第一项限制保证了生成树中有且仅有 $n-1$ 条边，第二项限制保证了生成树的连通性。因为树是无向图，所以每条边都会被算两次，最后答案除以 2 即可。

虽然这个表述使用了指数级的限制，但我们知道，最小生成树是有多项式算法的。也可以用椭球法在多项式时间内解最小生成树问题。

装箱问题

设共有 $n$ 个物品，$w_i$ 表示第 $i$ 个物品的重量，$c$ 表示每个箱子的承重，$x_{i, j} \\in \\{0, 1\\}$ 表示是否将第 $i$ 个物品放入第 $j$ 个箱子，$y_i$ 表示是否使用第 $i$ 个箱子。那么装箱问题可以写为 $$\\begin{matrix} \\min\\limits_{x, y} & \\sum\\limits_{i=1}^n y_i \\\\ \\text{s.t.} & \\sum\\limits_{i=1}^n w_ix_{i, j} \\le cy_j & \\forall j \\in \\{1, 2, \\dots, n\\} \\\\ & \\sum\\limits_{j=1}^n x_{i, j} = 1 & \\forall i \\in \\{1, 2, \\dots, n\\} \\\\ & x_{i, j} \\in \\{0, 1\\} \\\\ & y_{i, j} \\in \\{0, 1\\} \\end{matrix}$$ 第一项限制保证了每个箱子装的物品不会超过承重，第二项限制保证了每个物品一定会被装入箱子，且每个物品只装入一个箱子。

匹配问题

设图的点集为 $V$，边集为 $E$。设 $(i, j) \\in E$ 表示从第 $i$ 个点连到第 $j$ 个点的一条有向边，$x_{i, j}$ 表示这条边是否为匹配边。那么一般无向图的最大匹配问题可以写为 $$\\begin{matrix} \\max\\limits_x & \\sum\\limits_{(i, j) \\in E} x_{i, j} \\\\ \\text{s.t.} & \\sum\\limits_{(i, j) \\in E} x_{i, j} \\le 1 & \\forall i \\in V \\\\ & \\sum\\limits_{(i, j) \\in E} x_{i, j} \\le 1 & \\forall j \\in V \\\\ & x_{i, j} \\in \\{0, 1\\} \\end{matrix}$$ 我们也可以用图的点 - 边关联矩阵来描述匹配问题。设图中有 $n$ 个顶点，$m$ 条边，那么图的点 - 边关联矩阵是一个 $n \\times m$ 的矩阵。该矩阵每列对应一条边，每行对应一个顶点。若第 $i$ 个顶点是第 $j$ 条边的端点，那么矩阵第 $i$ 行第 $j$ 列为 1，否则为 0（可以看出，这个矩阵描绘的是无向边）。

用图的点 - 边关联矩阵将一般无向图的最大匹配问题写为 $$\\begin{matrix} \\max\\limits_{(i, j) \\in E} & x_{i, j} \\\\ \\text{s.t.} & Ax \\le b \\\\ & x_{i, j} \\in \\{0, 1\\} \\end{matrix}$$ 其中 $A$ 为图的点 - 边关联矩阵，$y$ 是一个全为 1 的向量。

 

匹配问题中，二分图的最大匹配最为特殊。如果把 $x_{i, j} \\in \\{0, 1\\}$ 这项条件改成 $x \\ge 0$，用线性规划求解二分图的最大匹配问题，最优解仍然非 0 即 1。和上一节课讲解的最短路问题一样，这也是因为二分图的点 - 边关联矩阵是全幺模矩阵。

以下对方阵的边长 $n$ 使用数学归纳法，证明任意一个无向二分图的点 - 边关联矩阵的子方阵行列式取值为 0，1 或 -1。

起始步骤：对于任意二分图 $n = 1$ 的子方阵，根据点 - 边关联矩阵的定义，子方阵的行列式取值为 0 或 1。

推递步骤：假设对于任意二分图 $n \\le k$ 的子方阵，都有行列式取值为 0，1 或 -1。

对于任意二分图 $n = k + 1$ 的子方阵，根据点 - 边关联矩阵的定义，每一列至多有两个非 0 元素，且这些元素均为 1。

如果该子方阵存在一列没有非 0 元素，那么该子方阵的行列式取值为 0；

如果该子方阵存在一列只有一个非 0 元素，由于该元素为 1，那么该子方阵行列式的绝对值等于该元素余子式的绝对值。将原二分图去掉该元素对应的点和边后，这个余子阵可以看作是新二分图的子方阵（因为二分图的子图仍然是二分图）。根据归纳法假设，该元素余子式的绝对值为 0 或 1，那么该子方阵的行列式取值为 0，1 或 -1。

如果该子方阵的每一列都有两个非 0 元素，设二分图可以被分为 $A$ 和 $B$ 两个集合，根据点 - 边关联矩阵的定义与二分图的定义，将集合 $A$ 中的点对应的行相加，再减去集合 $B$ 中的点对应的行，将会得到一个元素都是 0 的行向量，所以该子方阵的行列式取值为 0。

综上所述，对于 $n = k + 1$ 的子方阵，其行列式的取值仍为 0，1 或 -1。

根据上述数学归纳法，无向二分图的点 - 边关联矩阵是全幺模矩阵。

 

将二分图的最大匹配问题放松成线性规划后，写出它的对偶问题 $$\\begin{matrix} \\min\\limits_y & \\sum\\limits_{i=1}^n y_i \\\\ \\text{s.t.} & y_i + y_j \\ge 1 & (i, j) \\in E \\\\ & y \\ge 0 \\end{matrix}$$ 由于全幺模矩阵的转置也是全幺模矩阵，所以这个问题也可以加上 $y \\in \\{0, 1\\}$ 的限制而答案不变。

如果我们把 $y_i$ 看作是否选择第 $i$ 个点，这就是二分图的最小覆盖问题。这就是二分图的最大匹配和最小覆盖可以互相转化的原因。而一般图的最大匹配问题将 0-1 限制放松后最优解会改变，所以无法这样转化。

 

Gomory 割平面法

接下来介绍两种解线性整数规划问题的方法，首先介绍 Gomory 割平面法。

Gomory 割平面法的思想就是一直去除非整数的最优解，直到某一次求得的最优解为整数。考虑一个线性规划问题，假设我们使用单纯形表求解后获得的不是整数解，我们选择一个非整数的变量 $x_i$，根据单纯形表有 $$x_i + \\sum\\limits_{j=m+1}^n \\bar{a_{i,j}}x_j = \\bar{b_i} \\qquad \\qquad \\text{①} $$ 既然 $x_i$ 不是整数，说明 $\\bar{b_i}$ 一定不是整数，当然 $\\bar{a_{i,j}}$ 也可能不是整数。

将式 ① 调整一下，变为 $$x_i + \\sum\\limits_{j=m+1}^n \\left\\lfloor \\bar{a_{i,j}} \\right\\rfloor x_j \\le \\bar{b_i} \\qquad \\qquad \\text{②} $$ 显然，式 ① 的解一定是式 ② 的解。

再次调整式 ②，变为 $$x_i + \\sum\\limits_{j=m+1}^n \\left\\lfloor \\bar{a_{i,j}} \\right\\rfloor x_j \\le \\left\\lfloor\\bar{b_i}\\right\\rfloor \\qquad \\qquad \\text{③}$$ 容易看出，式 ② 的整数解一定符合式 ③，而原来用单纯形表求出的非整数解就不符合式 ③ 了（因为原来求出的非整数解中，有 $x_i = \\bar{b_i} > \\left\\lfloor \\bar{b_i } \\right\\rfloor$ 以及 $x_j = 0$）。我们只要把式 ③ 加入原来的线性规划问题，重新求解多出一个限制的线性规划问题。如果求出来的是整数解就停止，否则继续加入限制并求解，直到获得整数解为止。

顺便一提，大部分参考资料不会直接加入式 ③，而是加入 ① - ③，即 $$\\sum\\limits_{j=m+1}^n(\\bar{a_{i,j}} - \\left\\lfloor \\bar{a_{i,j}} \\right\\rfloor) x_j \\ge \\bar{b_i} - \\left\\lfloor \\bar{b_i} \\right\\rfloor$$ 当然效果是一样的。

 

来举个例子，考虑以下线性整数规划问题 $$\\begin{matrix} \\max\\limits_x & 3x_1 + 2x_2 \\\\ \\text{s.t.} & 2x_1 + 3x_2 + x_3 = 14 \\\\ & 2x_1 + x_2 + x_4 = 9 \\\\ & x \\ge 0 \\end{matrix}$$ 用单纯形表解该问题，结果为 $$\\begin{array}{c|cccc|c} & 0 & 0 & -1/4 & -5/4 & -59/4 \\\\ \\hline x_2 & 0 & 1 & 1/2 & -1/2 & 5/2 \\\\ x_1 & 1 & 0 & -1/4 & 3/4 & 13/4 \\end{array}$$ 选择 $x_2$，加入限制：$x_2 - x_4 \\le 2$，即 $x_2 - x_4 + x_5 = 2$。用单纯形表求解加入限制后的问题，结果为 $$\\begin{array}{c|ccccc|c} & 0 & 0 & 0 & -1 & -1/2 & -29/2 \\\\ \\hline x_3 & 0 & 0 & 1 & 1 & -2 & 1 \\\\ x_1 & 1 & 0 & 0 & 1 & -1/2 & 7/2 \\\\ x_2 & 0 & 1 & 0 & -1 & 1 & 2 \\end{array}$$ 选择 $x_1$，加入限制：$x_1 + x_4 - x_5 \\le 3$，即 $x_1 + x_4 - x_5 + x_6 = 3$. 用单纯形表求解加入限制后的问题，结果为 $$\\begin{array}{c|cccccc|c} & 0 & 0 & 0 & -1 & 0 & -1 & -14 \\\\ \\hline x_3 & 0 & 0 & 1 & 1 & 0 & -4 & 3 \\\\ x_1 & 1 & 0 & 0 & 1 & 0 & -1 & 4 \\\\ x_5 & 0 & 0 & 0 & 0 & 1 & -2 & 1 \\\\ x_2 & 0 & 1 & 0 & -1 & 0 & 2 & 1 \\end{array}$$ 所以原问题的最优解为 $x_1 = 4, x_2 = 1$，目标函数值为 $14$。

 

分枝定界法

（其实我觉得应该写作分支定界法，不过上课的老师坚持认为是分枝- -）

分枝定界法的思想和最优性剪枝或者 min-max 搜索树什么的差不多。我们先将原问题放松成线性规划问题，解这个线性规划，就得到了整数规划最优解的上界。假设最优解中 $N < x_i < N+1$ 不是整数，就会有两种可能：$x_i \\le N$ 或 $x_i \\ge N+1$，对两种情况分别进行搜索。如果在某一枝内算出了一个整数解，我们就得到了原整数规划最优解的下界；如果另一枝内线性规划问题的解还没有这个下界来得优，那么那一枝就可以直接不考虑了（因为线性规划问题的解是那一枝能找到的最优解的上界）。总而言之就是带着最优性剪枝的暴搜。

 

用一张 youtube 视频里的图作为例子

对于放松后的线性规划问题，最优解为 $x_1 = 8, x_2 = 2.25$，目标函数值为 35.25；

首先考虑 $x_2 \\le 2$，也就是 node1A，算得该情况下最优解为 $x_1 = 8, x_2 = 2$，目标函数值为 34。这是一个整数解，记录并回溯；

考虑 $x_2 \\ge 3$，也就是 node1B，算得该情况下的最优解为 $x_1 = 6.5, x_2 = 3$，目标函数值为 34.5。它还优于我们已知的下界 34，继续搜索；

考虑 $x_1 \\le 6$，也就是 node2C，算得该情况下的最优解为 $x_1 = 6, x_2 = 3.25$，目标函数值为 34.25。它还优于我们已知的下界 34，继续搜索；

考虑 $x_2 \\le 3$，也就是 node3E，算得该情况下的最优解为 $x_1 = 6, x_2 = 3$，目标函数值为 33。它劣于我们已知的下界 34，回溯；

考虑 $x_2 \\ge 4$，也就是 node3F，算得该情况下的目标函数值为 33.5。它劣于我们已知的下界 34，回溯；

考虑 $x_1 \\ge 7$，也就是 node2D，该情况下无可行解，回溯；

搜索得最优解为 $x_1 = 8, x_2 = 2$，目标函数值为 34。

（事实上我觉得这个例子不太好，其实在 node1B就可以直接回溯了。因为 node1B 那一枝的上界是 34.5，那么最优整数解最多只有 34 了。）

 

再试一试 Gomory 单纯形法的那个例子。将原问题松弛为线性规划问题后，得到的最优解为 $x_2 = 5/2, x_1 = 13/4$，目标函数值为 $59/4$。

先探索 $x_2 \\le 2$ 的情况，用单纯形表求解得 $$\\begin{array}{c|ccccc|c} & 0 & 0 & 0 & -1 & -1/2 & -29/2 \\\\ \\hline x_3 & 0 & 0 & 1 & 1 & -2 & 1 \\\\ x_1 & 1 & 0 & 0 & 1 & -1/2 & 7/2 \\\\ x_2 & 0 & 1 & 0 & -1 & 1 & 2 \\end{array}$$ 探索 $x_1 \\le 3$ 的情况，用单纯形表求解得 $$\\begin{array}{c|cccccc|c} & 0 & 0 & 0 & 0 & -2 & -3 & -13 \\\\ \\hline x_3 & 0 & 0 & 1 & 0 & 0 & -2 & 2 \\\\ x_4 & 0 & 0 & 0 & 1 & 0 & -2 & 1 \\\\ x_2 & 0 & 1 & 0 & 0 & 1 & 0 & 2 \\\\ x_1 & 1 & 0 & 0 & 0 & 0 & 1 & 3 \\end{array}$$ 得到候选的解 $x_1 = 3, x_2 = 2$，目标函数值为 $13$。

接下来探索 $x_1 \\ge 4$，用单纯形表解得 $$\\begin{array}{c|ccccc|c} & 0 & 0 & 0 & -2 & -1 & -14 \\\\ \\hline x_1 & 1 & 0 & 0 & 0 & -1 & 4 \\\\ x_3 & 0 & 0 & 1 & -2 & -4 & 3 \\\\ x_2 & 0 & 1 & 0 & 1 & 2 & 1 \\\\ x_5 & 0 & 0 & 0 & 0 & 1 & 1 \\end{array}$$ 得到候选的解 $x_1 = 4, x_2 = 1$，目标函数值为 $14$。

注意到原问题目标函数值的上界为 $59/4$，而 $14 < 59/4 < 15$，所以目标函数值的整数上界为 $14$，$x_1 = 4, x_2 = 1$ 必然为整数最优解. 所以原问题的最优解为 $x_1 = 4, x_2 = 1$，目标函数值为 $14$。