分类 - 修改后的 Huber 损失：它如何更能容忍异常值？

Posted 2023-03-12

【中文标题】分类 - 修改后的 Huber 损失：它如何更能容忍异常值？

【英文标题】：Classification - modified huber loss: how is it more tolerant to outliers?

【发布时间】：2018-05-22 19:57:53

【问题描述】：

根据 scikit-learn SGDClassifier documentation ，修改后的 Huber 损失函数可用于对异常值提供更高的容忍度。

看看成本函数的plot，看起来修改后的 Huber 是不是较少容忍？它似乎给 f(x)

【参考方案1】：

这里的问题是 scikit-learn 文档没有说明我们应该将修改后的 Huber 对异常值的容忍度与哪个基线损失函数进行比较。

修改后的 Huber 损失源于 Huber 损失，用于回归问题。查看plot，我们看到 Huber 损失对异常值的容忍度高于平方损失。正如您所指出的，除了平方铰链损失之外，其他损失函数对异常值的容忍度要高得多。