优化建模-第一节：优化建模和常见建模技术

Posted 2022-12-06 我擦我擦

文章目录

• 一：优化建模概述
• 二：目标函数的设计
• • （1）最小二乘法
  • （2）正则化
  • （3）最大似然估计
  • （4）代价、损失、收益函数
  • （5）泛函、变分
  • （6）松弛
• 三：约束的设计
• • （1）问题本身的物理性质
  • （2）等价转换
  • （3）松弛

一：优化建模概述

优化建模：优化模型是一类重要的数学模型，它是利用数学的方式来刻画一个真实问题，建模的过程通常设计如下步骤

• 定义目标
• 查找相关文献
• 建立模型并收集数据
• 初始测试
• 验证模型

可以以运输问题为例来说明优化建模的过程：假如有若干仓库和市场，仓库需要向市场供应一定量的货物，而每条供应线路都需要一定费用，那么这里

• 优化模型就是在满足供货的情况下选择一种花费最低的方案
• 目标函数就是运输的总费用
• 约束就是库存和市场需求等方面的限制

优化建模关注的是对一个实际问题建立合适的优化模型，也即我们要确定优化问题的目标函数和决策变量所在的可行域。下面分别对目标函数和约束的设计来介绍常见的建模技术

二：目标函数的设计

（1）最小二乘法

最小二乘法：设${\varphi }_i(x):R^n\to R,i=1,2,...,m$为$n$元函数，且有如下方程组

$$b_i={\varphi }_i(x),i=1.2.,,,m$$

• $b_i\in R$是已知的实数

上式并不总是可解的，由线性代数知识，我们知道，如果有$r(A)=r(A|b)>n$，那么此线性方程组无解。退一步来讲，即便次方程组有解，但由于测量误差等因素，其等式关系也有可能不是精确成立的。为了能在这种实际情况下求解出$x$，最小二乘法的思想是：极小化误差的$l_2$范数平方，也即

$$\underset{x\in R^n}{\min }\sum _{i=1}^n(b_i-{\varphi }_i(x){)}^2$$

当${\varphi }_i$为线性函数时，称上式为线性最小二乘问题，否则称其为非线性最小二乘问题

因此，最小二乘法的思想非常直观：

• 若$b_i={\varphi }_i(x),i=1.2.,,,m$有解，则求解$\underset{x\in R^n}{\min }\sum _{i=1}^n(b_i-{\varphi }_i(x){)}^2$的全局最优解就相当于求出了方程的解
• 若$b_i={\varphi }_i(x),i=1.2.,,,m$无解，则问题$\underset{x\in R^n}{\min }\sum _{i=1}^n(b_i-{\varphi }_i(x){)}^2$给出了某种程度上误差最小的解

另外，最小二乘法使用了$l_2$范数来度量误差大小，主要原因有

• $l_2$范数平方是光滑可微的，它会给目标函数带来较好的性质
• $l_2$范数对于某种误差的处理具有最优性

当然最小二乘法并不总是最合理的。除了构造最小二乘问题外，根据实际问题的需要，我们还经常建立最小一乘模型以及最小最大模型，其思想是使用不同的范数来代替$l_2$范数

• 如果要保证偏差的绝对值之和最小，则模型为：$\underset{x\in R^n}{\min }\sum _{i=1}^n|b_i-{\varphi }_i(x)|$
• 如果要保证最大偏差最小化，则模型为：$\underset{x\in R^n}{\min }\underset{i}{\max }|b_i-{\varphi }_i(x)|$

（2）正则化

正则化：在建模的时候，我们往往需要借助于想要得到的解的性质，例如

• 为了让解具有某种光滑性以及克服问题的病态性质，那么改进的模型为： $\underset{x\in R^n}{\min }\sum _{i=1}^n(b_i-{\varphi }_i(x){)}^2+u||x|{|}_2^2$，其中$u>0$为一个平衡参数
• 如果想要得到一个稀疏的解，可以借助$l_0$