逻辑回归：多分类的一对多方法

Posted 2023-03-12

【中文标题】逻辑回归：多分类的一对多方法

【英文标题】：Logistic regression: one-vs-all method for multi classification

【发布时间】：2019-08-03 18:02:51

【问题描述】：

我是机器学习的新手。当我了解逻辑回归时，使用一对多（one-vs-rest）方法进行多分类： 在逻辑回归中，假设函数试图估计正类的概率。 假设我们有 3 个类，那么每个类，我们应该预测假设函数 h(x)

h1(x)=P(y=1|x)
h2(x)=P(y=2|x)
h3(x)=P(y=3|x)

但是，三个概率之和不等于1？ 我“感觉”它等于 1，但我不明白为什么它不等于。 谁能解释一下原因？

【参考方案1】：

您的结果是正确的，h1(x)、h2(x) 和 h3(x) 的总和不应等于 1。

当您执行一对多分类时，对于每个类别（例如，类别 1），您有两个概率 p(y=1|x) 和 p(y!=1|x)，总和为 1：

p(y=1|x) + p(y!=1|x) = 1.

但是，由于你的一对一分类是独立的，那么

p(y!=1|x) != p(y=2|x) + p(y=3|x) (at least not necessarily).

也许，举个例子更容易理解：

第一个分类器说 p(y=1|x) = 0.7 和 p(y!=1|​​x) = 0.3; 第二个分类器说 p(y=2|x) = 0.7 和 p(y!=2|x) = 0.3; 第三个分类器表示 p(y=3|x) = 0.7 和 p(y!=3|x) = 0.3。

它们都是有效的分类器，但是

p(y=1|x) + p(y=2|x) + p(y=3|x) != 1.

【讨论】：

谢谢！但是我有点困惑，为什么分类器是独立的？我想只是因为逻辑回归的输出只是估计的概率，而不是概率密度函数，所以它们总和不等于1。不是吗？