是否有任何可以同时具有下限和上限的二次规划函数 - Python

Posted

技术标签:

【中文标题】是否有任何可以同时具有下限和上限的二次规划函数 - Python【英文标题】:Is there any quadratic programming function that can have both lower and upper bounds - Python 【发布时间】:2019-09-12 00:16:26 【问题描述】:

通常我一直使用GNU Octave 来解决二次规划问题。

我解决诸如此类的问题

x = 1/2x'Qx + c'x

附主题

A*x <= b
lb <= x <= ub

其中lbub 是下限和上限,例如x 的限制

解决问题时,我的 Octave 代码如下所示。就这么简单的一行

U = quadprog(Q, c, A, b, [], [], lb, ub);

方括号[] 是空的,因为我不需要等式约束

Aeq*x = beq,

所以我的问题是: Python中是否有一个易于使用的二次求解器来解决问题

x = 1/2x'Qx + c'x

附主题

A*x <= b
lb <= x <= ub

或受制于

b_lb <= A*x <= b_ub
lb <= x <= ub

【问题讨论】:

查看scipy 另一种选择是使用cvxopt 你也可以看看qpsolvers 看看lsq_linear 【参考方案1】:

您可以基于scipy.optimize 编写自己的求解器,这里有一个关于如何编写自定义python quadprog() 的小示例:

# python3
import numpy as np
from scipy import optimize

class quadprog(object):

    def __init__(self, H, f, A, b, x0, lb, ub):
        self.H    = H
        self.f    = f
        self.A    = A
        self.b    = b
        self.x0   = x0
        self.bnds = tuple([(lb, ub) for x in x0])
        # call solver
        self.result = self.solver()

    def objective_function(self, x):
        return 0.5*np.dot(np.dot(x.T, self.H), x) + np.dot(self.f.T, x)

    def solver(self):
        cons = ('type': 'ineq', 'fun': lambda x: self.b - np.dot(self.A, x))
        optimum = optimize.minimize(self.objective_function, 
                                    x0          = self.x0.T,
                                    bounds      = self.bnds,
                                    constraints = cons, 
                                    tol         = 10**-3)
        return optimum

这里是如何使用它,使用与matlab-quadprog 中提供的第一个示例相同的变量:

# init vars
H  = np.array([[ 1, -1],
               [-1,  2]])

f  = np.array([-2, -6]).T

A  = np.array([[ 1, 1],
               [-1, 2],
               [ 2, 1]])

b  = np.array([2, 2, 3]).T
x0 = np.array([1, 2])
lb = 0
ub = 2

# call custom quadprog
quadprog  = quadprog(H, f, A, b, x0, lb, ub)
print(quadprog.result)

这个短sn-p的输出是:

     fun: -8.222222222222083
     jac: array([-2.66666675, -4.        ])
 message: 'Optimization terminated successfully.'
    nfev: 8
     nit: 2
    njev: 2
  status: 0
 success: True
       x: array([0.66666667, 1.33333333])

有关如何使用scipy.optimize.minimize的更多信息,请参阅docs。

【讨论】:

【参考方案2】:

如果您需要像 quadprog 这样的通用二次规划求解器,我建议您使用开源软件 cvxopt,如其中一个 cmets 中所述。这是强大且真正最先进的。主要贡献者是该领域的主要专家,也是凸优化classic book 的合著者。

您要使用的函数是cvxopt.solvers.qp。以下是在Numpy 中使用它的简单包装器,例如quadprog。请注意,边界可以作为不等式约束的特例。

import numpy as np
from cvxopt import matrix, solvers

def quadprog(P, q, G=None, h=None, A=None, b=None, options=None):
     """
    Quadratic programming problem with both linear equalities and inequalities

        Minimize      0.5 * x @ P @ x + q @ x
        Subject to    G @ x <= h
        and           A @ x = b
    """
    P, q = matrix(P), matrix(q)

    if G is not None:
        G, h = matrix(G), matrix(h)

    if A is not None:
        A, b = matrix(A), matrix(b)

    sol = solvers.qp(A, b, G, h, A, b, options=options)

    return np.array(sol['x']).ravel()

cvxopt 过去很难安装,但现在也包含在Anaconda distribution 中,并且可以使用conda install cvxopt 安装(甚至在 Windows 上)。

如果相反,您对带边界的线性最小二乘优化的更具体情况感兴趣,它是一般二次规划的子集,即

Minimize || A @ x - b ||
subject to lb <= x <= ub

那么Scipy就有了scipy.optimize.lsq_linear(A, b, bounds)的具体功能。

请注意,接受的答案是一种非常低效的方法,不应推荐。它没有利用要优化的函数是二次函数这一关键事实,而是使用通用的非线性优化程序,甚至没有指定解析梯度。

【讨论】:

以上是关于是否有任何可以同时具有下限和上限的二次规划函数 - Python的主要内容,如果未能解决你的问题,请参考以下文章

Haskell 中的二次规划

具有上限/下限的 Numpy 自定义 Cumsum 函数?

SQLite 优化:同时搜索下限和上限

要从具有上限/下限的泊松分布中抽取的样本编号

仅依赖于 NumPy/SciPy 的二次规划 (QP) 求解器?

如何在R中找到函数的上限和下限