简单来说，为啥二元结果回归模型没有 VIF？

Posted 2023-02-14

【中文标题】简单来说，为啥二元结果回归模型没有 VIF？

【英文标题】：In plain language, why is there no VIF for binary outcome regression models?简单来说，为什么二元结果回归模型没有 VIF？

【发布时间】：2022-01-13 19:04:45

【问题描述】：

据我所知，方差膨胀因子不是用伪 $R^2$ 或二元结果模型（例如逻辑回归）中的广义 $R^2$ 计算的。

除了 VIF 之外，还有其他适用于此类模型的多重共线性度量吗？

为什么我们应该或不应该考虑此类模型中的多重共线性？

【问题讨论】：

你可以看看这里的讨论：researchgate.net/post/…

@kjetilbhalvorsen 您的意思是在您的第二条评论中发布相同的链接吗？第一条评论简要说明了可以使用 McFadden 的伪 $R^2$ 构建 VIF，但实际上并没有讨论为什么这样做很重要或不重要。例如，关于回归的介绍性教科书会强调在多元线性回归上下文中检查共线性（例如通过使用 VIF）的重要性，但在介绍逻辑回归时会忽略这个问题。试图了解原因。

这里有相关讨论：（3.3节）ats.ucla.edu/stat/stata/webbooks/logistic/chapter3/…

谷歌搜索“逻辑回归的方差膨胀因子”给出了其他相关命中。试试看，如果你不能那样解决你的问题，就回来。逻辑回归的多重共线性问题与线性回归的问题相同，所以我应该可以转移一些技术，但我不知道什么是最好的！

【参考方案1】：

对于逻辑回归等广义线性模型，可以有 VIF。它们只是不应该按照 Wikipedia page 当前显示的方式计算，基于 $R^2$ 每个预测变量与所有其他变量的回归。考虑该页面提供的 VIF 定义：

具有多个项的模型中的方差与仅具有一项的模型的方差的商。

计算 VIF 所需的信息位于系数估计的方差-协方差矩阵中。该***页面上的推导从variance-covariance matrix of an ordinary least squares (OLS) model 的等式开始。这会导致usual equation for VIF。

对于广义线性模型，仍然存在系数方差-协方差矩阵，但它来自最大似然拟合，而不是特定的解析形式。所以用于 OLS 的 VIF 计算是不合适的。

R car package 中的vif() 函数计算generalized variance inflation factors

可解释为置信椭圆或椭球大小的膨胀，用于与正交数据获得的系数相比。

对于未加权的 OLS 模型，此计算应等效于通常的方程，同时为其他模型提供重要的推广。您可以通过加载 car 包然后在 R 命令提示符处键入 getAnywhere(vif.default) 来检查代码。