是否有任何可以同时具有下限和上限的二次规划函数 - Python

Posted 2023-03-12

【中文标题】是否有任何可以同时具有下限和上限的二次规划函数 - Python

【英文标题】：Is there any quadratic programming function that can have both lower and upper bounds - Python

【发布时间】：2019-09-12 00:16:26

【问题描述】：

通常我一直使用GNU Octave 来解决二次规划问题。

我解决诸如此类的问题

x = 1/2x'Qx + c'x

附主题

A*x <= b
lb <= x <= ub

其中lb 和ub 是下限和上限，例如x 的限制

解决问题时，我的 Octave 代码如下所示。就这么简单的一行

U = quadprog(Q, c, A, b, [], [], lb, ub);

方括号[] 是空的，因为我不需要等式约束

Aeq*x = beq,

所以我的问题是： Python中是否有一个易于使用的二次求解器来解决问题

x = 1/2x'Qx + c'x

附主题

A*x <= b
lb <= x <= ub

或受制于

b_lb <= A*x <= b_ub
lb <= x <= ub

【问题讨论】：

查看scipy。

另一种选择是使用cvxopt

你也可以看看qpsolvers

看看lsq_linear

【参考方案1】：

您可以基于scipy.optimize 编写自己的求解器，这里有一个关于如何编写自定义python quadprog() 的小示例：

# python3
import numpy as np
from scipy import optimize

class quadprog(object):

    def __init__(self, H, f, A, b, x0, lb, ub):
        self.H    = H
        self.f    = f
        self.A    = A
        self.b    = b
        self.x0   = x0
        self.bnds = tuple([(lb, ub) for x in x0])
        # call solver
        self.result = self.solver()

    def objective_function(self, x):
        return 0.5*np.dot(np.dot(x.T, self.H), x) + np.dot(self.f.T, x)

    def solver(self):
        cons = ('type': 'ineq', 'fun': lambda x: self.b - np.dot(self.A, x))
        optimum = optimize.minimize(self.objective_function, 
                                    x0          = self.x0.T,
                                    bounds      = self.bnds,
                                    constraints = cons, 
                                    tol         = 10**-3)
        return optimum

这里是如何使用它，使用与matlab-quadprog 中提供的第一个示例相同的变量：

# init vars
H  = np.array([[ 1, -1],
               [-1,  2]])

f  = np.array([-2, -6]).T

A  = np.array([[ 1, 1],
               [-1, 2],
               [ 2, 1]])

b  = np.array([2, 2, 3]).T
x0 = np.array([1, 2])
lb = 0
ub = 2

# call custom quadprog
quadprog  = quadprog(H, f, A, b, x0, lb, ub)
print(quadprog.result)

这个短sn-p的输出是：

     fun: -8.222222222222083
     jac: array([-2.66666675, -4.        ])
 message: 'Optimization terminated successfully.'
    nfev: 8
     nit: 2
    njev: 2
  status: 0
 success: True
       x: array([0.66666667, 1.33333333])

有关如何使用scipy.optimize.minimize的更多信息，请参阅docs。

【参考方案2】：

如果您需要像 quadprog 这样的通用二次规划求解器，我建议您使用开源软件 cvxopt，如其中一个 cmets 中所述。这是强大且真正最先进的。主要贡献者是该领域的主要专家，也是凸优化classic book 的合著者。

您要使用的函数是cvxopt.solvers.qp。以下是在Numpy 中使用它的简单包装器，例如quadprog。请注意，边界可以作为不等式约束的特例。

import numpy as np
from cvxopt import matrix, solvers

def quadprog(P, q, G=None, h=None, A=None, b=None, options=None):
     """
    Quadratic programming problem with both linear equalities and inequalities

        Minimize      0.5 * x @ P @ x + q @ x
        Subject to    G @ x <= h
        and           A @ x = b
    """
    P, q = matrix(P), matrix(q)

    if G is not None:
        G, h = matrix(G), matrix(h)

    if A is not None:
        A, b = matrix(A), matrix(b)

    sol = solvers.qp(A, b, G, h, A, b, options=options)

    return np.array(sol['x']).ravel()

cvxopt 过去很难安装，但现在也包含在Anaconda distribution 中，并且可以使用conda install cvxopt 安装（甚至在 Windows 上）。

如果相反，您对带边界的线性最小二乘优化的更具体情况感兴趣，它是一般二次规划的子集，即

Minimize || A @ x - b ||
subject to lb <= x <= ub

那么Scipy就有了scipy.optimize.lsq_linear(A, b, bounds)的具体功能。

请注意，接受的答案是一种非常低效的方法，不应推荐。它没有利用要优化的函数是二次函数这一关键事实，而是使用通用的非线性优化程序，甚至没有指定解析梯度。