Vowpal Wabbit 多类线性分类

Posted 2023-03-06

【中文标题】Vowpal Wabbit 多类线性分类

【英文标题】：Vowpal Wabbit Multiclass Linear Classification

【发布时间】：2016-09-21 03:19:40

【问题描述】：

是否可以使用 Vowpal Wabbit 库训练多类（多项式）线性分类模型？

我尝试将 --oaa 与 --loss_function 平方一起使用，但似乎 --oaa 的默认损失函数是逻辑。

我使用rcv1.multiclass 作为输入。

一个解决方案：

我可以创建多个版本的数据如下：

版本 i：将除 I 类之外的所有标签设为零

然后我可以为每个版本的数据训练多个二进制分类。最后，我可以将测试数据提供给所有分类器并应用 argmax。有没有更好的（自动化）解决方案？

【问题讨论】：

这能回答你的问题吗？ PurgeCSS and Tailwind CSS, how to preserve responsive classes using the Command Line Interface?

【参考方案1】：

当你使用vw --oaa N 时，你实际上会得到一个linear N 类分类器。要获得非线性分类器，您需要添加二次/多项式特征（-q、--cubic、--interactions）或内核（--ksvm）或隐藏层（--nn）或任何其他非线性缩减（--lrq、--stage_poly、--autolink）。

损失函数的选择不影响分类器是否是线性的。默认值为--loss_function=squared。对于分类，我建议使用--loss_function=logistic（如果您想预测每个类别的概率，可能使用--probabilities）或--loss_function=hinge（如果您只关心***类别）。

然后我可以为每个版本的数据训练多个二进制分类。最后，我可以将测试数据提供给所有分类器并应用 argmax。有没有更好的（自动化）解决方案？

是的，这正是 --oaa 所做的（但更有效）。