Vowpal Wabbit Logistic 回归

Posted 2023-03-13

【中文标题】Vowpal Wabbit Logistic 回归

【英文标题】：Vowpal Wabbit Logistic Regression

【发布时间】：2015-01-06 04:03:17

【问题描述】：

我正在使用 Vowpal Wabbit 对具有 25 个特征和 4800 万个实例的数据集执行逻辑回归。我对当前预测值有疑问。它应该在 0 或 1 以内。

average    since         example     example  current  current  current
loss       last          counter      weight    label  predict features
0.693147   0.693147            1         1.0  -1.0000   0.0000       24
0.419189   0.145231            2         2.0  -1.0000  -1.8559       24
0.235457   0.051725            4         4.0  -1.0000  -2.7588       23
6.371911   12.508365           8         8.0  -1.0000  -3.7784       24
3.485084   0.598258           16        16.0  -1.0000  -2.2767       24
1.765249   0.045413           32        32.0  -1.0000  -2.8924       24
1.017911   0.270573           64        64.0  -1.0000  -3.0438       25
0.611419   0.204927          128       128.0  -1.0000  -3.1539       25
0.469127   0.326834          256       256.0  -1.0000  -1.6101       23
0.403473   0.337820          512       512.0  -1.0000  -2.8843       25
0.337348   0.271222         1024      1024.0  -1.0000  -2.5209       25
0.328909   0.320471         2048      2048.0  -1.0000  -2.0732       25
0.309401   0.289892         4096      4096.0  -1.0000  -2.7639       25
0.291447   0.273492         8192      8192.0  -1.0000  -2.5978       24
0.287428   0.283409        16384     16384.0  -1.0000  -3.1774       25
0.287249   0.287071        32768     32768.0  -1.0000  -2.7770       24
0.282737   0.278224        65536     65536.0  -1.0000  -1.9070       25
0.278517   0.274297       131072    131072.0  -1.0000  -3.3813       24
0.291475   0.304433       262144    262144.0   1.0000  -2.7975       23
0.324553   0.357630       524288    524288.0  -1.0000  -0.8995       24
0.373086   0.421619      1048576   1048576.0  -1.0000  -1.2076       24
0.422605   0.472125      2097152   2097152.0   1.0000  -1.4907       25
0.476046   0.529488      4194304   4194304.0  -1.0000  -1.8591       25
0.476627   0.477208      8388608   8388608.0  -1.0000  -2.0037       23
0.446556   0.416485     16777216  16777216.0  -1.0000  -0.9915       24
0.422831   0.399107     33554432  33554432.0  -1.0000  -1.9549       25
0.428316   0.433801     67108864  67108864.0  -1.0000  -0.6376       24
0.425511   0.422705    134217728 134217728.0  -1.0000  -0.4094       24
0.425185   0.424860    268435456 268435456.0  -1.0000  -1.1529       24
0.426747   0.428309    536870912 536870912.0  -1.0000  -2.7468       25

【参考方案1】：

预测在 [-50, +50] 范围内（理论上是任何实数，但 Vowpal Wabbit 将其截断为 [-50, +50]）。

要将它们转换为 -1, +1，请使用 --binary。正面预测被简单地映射到 +1，负面到 -1。

要将它们转换为 [0, +1]，请使用 --link=logistic。 这使用logistic function 1/(1 + exp(-x))。 如果您想将数字解释为概率，您还应该使用--loss_function=logistic。

要将它们转换为 [-1, +1]，请使用 --link=glf1。 这使用公式 2/(1 + exp(-x)) - 1（限制为 1 的广义逻辑函数）。

【讨论】：

还有一个相对较新的功能：--link=glf1 映射到 [-1, +1] 而不是 [0, 1] 助记符：glf1 代表广义逻辑函数，限制为 1。