scipy.optimize.leastsq 用 NaN 调用目标函数
Posted
技术标签:
【中文标题】scipy.optimize.leastsq 用 NaN 调用目标函数【英文标题】:scipy.optimize.leastsq calls objective function with NaN 【发布时间】:2015-06-05 04:15:54 【问题描述】:我正在使用scipy.optimize.leastsq 尝试在存在噪声的情况下将多个参数拟合到真实数据。目标函数偶尔会在 minpack 中使用 NaN 调用。这是 scipy.optimize.leastsq 的预期行为吗?有没有比在这种情况下只返回 NaN 残差更好的选择?
以下代码演示了该行为:
import scipy.optimize
import numpy as np
xF = np.array([1.0, 2.0, 3.0, 4.0]) # Target value for fit
NOISE_LEVEL = 1e-6 # The random noise level
RETURN_LEN = 1000 # The objective function return vector length
def func(x):
if np.isnan(np.sum(x)):
raise ValueError('Invalid x: %s' % x)
v = np.random.rand(RETURN_LEN) * NOISE_LEVEL
v[:len(x)] += xF - x
return v
iteration = 0
while (1):
iteration += 1
x = np.zeros(len(xF))
y, cov = scipy.optimize.leastsq(func, x)
print('%04d %s' % (iteration, y))
Jacobian 正在以数值方式计算。在生产代码中,优化通常有效,除非初始估计值太高,表面非常平坦,并且噪声压倒了用于数值计算雅可比行列式的增量。在这种情况下,目标函数的残差会像上面的代码示例一样显示为随机噪声,我不希望优化收敛。
在此代码示例中,小的 NOISE_LEVEL 值 (
一种可能的解决方法是返回一个高度惩罚的残差(NaN 或 INF),例如:
v = np.empty(RETURN_LEN)
v.fill(np.nan)
return v
如果脏了,这种解决方法似乎很有效。首先有什么更好的替代方案或方法来防止 NaN?
在 Windows 7 上运行的 Python 2.7.9 x32 下观察到此行为。
【问题讨论】:
噪声和数字雅可比行列式的组合似乎将 x 射入远离区域的区域,从而产生 NaN。这强烈表明优化器无法提供可靠的结果。这通常需要通过施加额外的约束来重新制定优化问题,以减少不适定性。也许使用受约束的优化器 (docs.scipy.org/doc/scipy/reference/tutorial/…) 可能是一种可能的解决方法。放宽终止条件也可能有所帮助。 【参考方案1】:由于您的问题定义在非线性问题(噪声)上使用了线性求解器,因此求解器会发疯,除非噪声水平低于显着性阈值。
为了解决这个问题,您可以尝试使用非线性求解器。 例如使用 broyden1 求解算法而不是 minimumsq:
import scipy.optimize
import numpy as np
xF = np.array([1.0, 2.0, 3.0, 4.0]) # Target value for fit
NOISE_LEVEL = 1.e-6 # The random noise level
RETURN_LEN = 1000 # The objective function return vector length
def func(x):
if np.isnan(np.sum(x)):
raise ValueError('Invalid x: %s' % x)
v = np.random.rand(RETURN_LEN) * NOISE_LEVEL
v[:len(x)] += xF - x
return v[:len(x)]
iteration = 0
while iteration < 10:
iteration += 1
x = np.random.rand(len(xF))
y = scipy.optimize.broyden1(func, x)
print('%04d %s' % (iteration, y))
作为输出返回:
0001 [ 1.00000092 2.00000068 3.00000051 4.00000097]
0002 [ 1.0000012 2.00000214 3.00000272 4.00000369]
0003 [ 0.99999991 1.99999931 2.99999815 3.9999978 ]
0004 [ 1.00000097 2.00000198 3.00000345 4.00000425]
0005 [ 1.00000047 1.99999983 2.99999938 3.99999922]
0006 [ 1.00000024 2.00000021 3.00000071 4.00000136]
0007 [ 1.00000116 2.00000102 3.00000225 4.00000357]
0008 [ 1.00000006 2.00000002 3.00000017 4.00000039]
0009 [ 1.0000002 2.00000034 3.00000062 4.00000051]
0010 [ 1.00000137 2.0000015 3.00000193 4.00000344]
【讨论】:
以上是关于scipy.optimize.leastsq 用 NaN 调用目标函数的主要内容,如果未能解决你的问题,请参考以下文章