使用 Vowpal Wabbit 时计算 AUC

Posted

技术标签:

【中文标题】使用 Vowpal Wabbit 时计算 AUC【英文标题】:Calculating AUC when using Vowpal Wabbit 【发布时间】:2014-08-07 12:10:39 【问题描述】:

有没有在 Vowpal Wabbit 中计算 AUC?

我使用 Vowpal Wabbit 的原因之一是数据文件的大小。 我可以使用 Vowpal Wabbit 的输出计算 Vowpal Wabbit 环境之外的 AUC,但如果数据文件很大,这可能会出现问题。

【问题讨论】:

【参考方案1】:

目前,大众无法举报AUC。更糟糕的是,它不能直接针对 AUC 进行优化。 AUC优化不兼容在线学习,但有一些approximations of AUC suitable for optimizing。

关于您的问题,您不需要将带有原始预测的中间文件存储在磁盘上。您可以将其直接通过管道传输到外部评估工具(在这种情况下为perf):

vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin

编辑: John Langford confirmed 认为 AUC 通常可以通过改变假阳性和假阴性损失的比率来优化。在大众汽车中,这意味着为正面和负面示例设置不同的importance weight。您需要使用保留集(或交叉验证,或用于一次性学习的渐进式验证损失)来调整最佳权重。

【讨论】:

以上是关于使用 Vowpal Wabbit 时计算 AUC的主要内容,如果未能解决你的问题,请参考以下文章

Vowpal Wabbit Logistic 回归

使用 Vowpal wabbit 的上下文强盗

Vowpal Wabbit 的梯度提升

Vowpal Wabbit:不平衡的类

Vowpal Wabbit 多类线性分类

Vowpal Wabbit中逻辑回归的正确性?