sklearn中的任何回归器来处理分离的权重？

Posted 2023-03-12

【中文标题】sklearn中的任何回归器来处理分离的权重？

【英文标题】：Any regressors in sklearn to deal with separated weights?

【发布时间】：2022-01-03 23:26:06

【问题描述】：

如果我要优化的目标函数在某种程度上类似于岭问题，是否可以向 sklearn 寻求帮助，但是

权重，最初只是 W 被分成 2 个子权重 U, V s.t. W = U dot V 和 两个子权重的约束相同？

就像我在下面附加的表达式一样。提前致谢。

【问题讨论】：

这不是线性回归模型，因为系数是二次的。可能没有封闭形式的解决方案，但您可以使用优化器找到最小值（例如scipy.optimize）

【参考方案1】：

这与普通岭回归等效（直到选择不同的 lambda）。

让w_i = u_i v_i。对于固定的W，平方误差项是固定的，为了最大限度地减少惩罚项，您最终会得到u_i, v_i = +- sqrt(w_i)。那么惩罚项是2 lambda sum(w_i^2)，所以我们和lambda' = 2 lambda一起下降。

【讨论】：

感谢您在给定固定 w_i 的情况下找到 u_i、v_i 的提示。解决方案不应该与套索问题相同吗？我试图简化 lambda 项的总和，它给了我原始权重向量的 1-范数。

另外，如果我使用 sklearn 的 lasso_path 发现的一些 w_i 是负数怎么办？