SPSS多元线性回归输出结果的详细解释

Posted 2023-04-03

SPSS多元线性回归输出结果的详细解释先说一句题外话，如果当年在大学里数理统计等课程结合SPSS，SAS，R等软件来讲，应该效果会好很多。最近

SPSS多元线性回归输出结果的详细解释
先说一句题外话，如果当年在大学里数理统计等课程结合SPSS，SAS，R等软件来讲，应该效果会好很多。
最近做了一些用SPSS进行线性回归的实验，还是感觉很多细节把握不好，这里结合我的实验结果，以及网上别人的介绍总结一下，先贴几张SPSS的输出：
下面简单解释一下这三张图中的结果：
第一个表模型汇总表中，R表示拟合优度（goodness of fit），它是用来衡量估计的模型对观测值的拟合程度。它的值越接近1说明模型越好。调整的R平方比调整前R平方更准确一些，图中的最终调整R方为0.550，表示自变量一共可以解释因变量55%的变化（variance），另外，由于使用的是StepWise Linear Regression (SWLR)，分析——回归——线性——“方法”选择“逐步”，所以模型1、2、3的R方逐渐增大，标准误差逐渐减小。
（据网友的介绍：一般认为，拟合优度达到0.1为小效应（R方0.01），0.3为中等R方0.09），0.5为大（R方0.25），这是针对自然科学的一般界限。）
第二个表Anova表示方差分析结果，主要看F和sig值两个，F值为方差分析的结果，是一个对整个回归方程的总体检验，指的是整个回归方程有没有使用价值（与随机瞎猜相比），其F值对应的Sig值小于0.05就可以认为回归方程是有用的。另外，从F值的角度来讲：F的值是回归方程的显著性检验，表示的是模型中被解释变量与所有解释变量之间的线性关系在总体上是否显著做出推断。若F>Fa(k,n-k-1)，则拒绝原假设，即认为列入模型的各个解释变量联合起来对被解释变量有显著影响，反之，则无显著影响。
这里简单对Fa(k,n-k-1)进行一下解释，k为自变量个数，n为样本容量，n-k-1为自由度。对于我的实验中的情况来讲，k=3，样本容量为146，所以查表的时候应该差Fa(3,142)，一般数理统计课本中都有F分布表，a表示的显著性水平（一般取0.05），但我们手头不一定会有课本，就需要借助于excel来查F表，打开excel，在公式区输入：=FINV(0.05,3,142)，在单元格中即出现2.668336761，表中的F值显著大于这个值，则认为各个解释变量对因变量有显著影响。
需要注意的是，方差分析是对多个自变量的总体检验，而不是单个自变量（单个自变量在系数表中，为单样本T检验），这就是第三个表回归系数表中的内容。
系数表格列出了自变量的显著性检验结果（使用单样本T检验），最后一列为T检验的sig，表中均小于0.05，说明自变量对因变量具有显著影响，B表示各个自变量在回归方程中的系数，负值表示IPGF这个自变量对因变量有显著的负向影响，但是由于每个自变量的量纲和取值范围不同，基于B并不能反映各个自变量对因变量影响程度的大小，这时候我们就要借助标准系数。目前表格中的“试用版”实际上是Beta的意思，此时数值越大表示对自变量的影响更大。
从这个分析过程来看，这个实验结果还挺理想的。 参考技术A

非标准化系数（B）：非标准化回归系数。回归模型方程中使用的是非标准化系数。


标准化系数（Beta）：标准化回归系数。一般可用于比较自变量对Y的影响程度。Beta值越大说明该变量对Y的影响越大

t值：t检验的过程值，回归分析中涉及两种检验（t检验和F检验），t检验分别检验每一个X对Y的影响关系，通过t检验说明这个X对Y有显著的影响关系；F检验用于检验模型整体的影响关系，通过F检验，则说明模型中至少有一个X对Y有显著的影响关系。此处的t值，为t检验的过程值，用于计算P值。一般无需关注。

p值：t检验所得p值。P值小于0.05即说明，其所对应的X对因变量存在显著性影响关系。

VIF值：共线性指标。大于5说明存在共线性问题。

R²：决定系数，模型拟合指标。反应Y的波动有多少比例能被X的波动描述。

调整R²：调整后的决定系数，也是模型拟合指标。当x个数较多是调整R²比R²更为准确。

F检验：通过F检验，说明模型中至少有一个X对Y有显著的影响关系。分析时主要关注后面的P值即可。

D-W值：D-W检验值，Durbin-Watson检验，是自相关性的一项检验方法。如果D-W值在2附近（1.7~2.3之间），则说明没有自相关性，模型构建良好。

第一步：首先对模型整体情况进行分析

包括模型拟合情况（R²），是否通过F检验等。

第二步：分析X的显著性

分析X的显著性（P值），如果呈现出显著性，则说明X对Y有影响关系。如果不显著，则应剔除该变量。

第三步：判断X对Y的影响关系方向及影响程度

结合回归系数B值，对比分析X对Y的影响程度。B值为正数则说明X对Y有正向影响，为负数则说明有负向影响。

第四步：写出模型公式

第五步：对分析进行总结

SPSSAU也会提供智能分析建议，方便分析人员快速得出分析结果。



请点击输入图片描述

回归分析 R语言 -- 多元线性回归

参考技术A

多元线性回归 是 简单线性回归 的扩展，用于基于多个不同的预测变量（x）预测结果变量（y）。

例如，对于三个预测变量（x），y​​的预测由以下等式表示： y = b0 + b1*x1 + b2*x2 + b3*x3

回归贝塔系数测量每个预测变量与结果之间的关联。“ b_j”可以解释为“ x_j”每增加一个单位对y的平均影响，同时保持所有其他预测变量不变。

在本节中，依然使用 datarium 包中的 marketing 数据集，我们将建立一个多元回归模型，根据在三种广告媒体（youtube，facebook和报纸）上投入的预算来预测销售。计算公式如下： sales = b0 + b1*youtube + b2*facebook + b3*newspaper

您可以如下计算R中的多个回归模型系数：

请注意，如果您的数据中包含许多预测变量，则可以使用 ~. 以下命令将模型中的所有可用变量简单地包括在内：

从上面的输出中，系数表显示β系数估计值及其显着性水平。列为：

如前所述，您可以使用R函数轻松进行预测 predict() ：

在使用模型进行预测之前，您需要评估模型的统计显着性。通过显示模型的统计摘要，可以轻松地进行检查。

显示模型的统计摘要，如下所示：

摘要输出显示6个​​组件，包括：

解释多元回归分析的第一步是在模型摘要的底部检查F统计量和关联的p值。

在我们的示例中，可以看出F统计量的p值<2.2e-16，这是非常重要的。这意味着 至少一个预测变量与结果变量显着相关 。

要查看哪些预测变量很重要，您可以检查系数表，该表显示了回归beta系数和相关的t统计p值的估计。

对于给定的预测变量，t统计量评估预测变量和结果变量之间是否存在显着关联，即，预测变量的beta系数是否显着不同于零。

可以看出，youtube和facebook广告预算的变化与销售的变化显着相关，而报纸预算的变化与销售却没有显着相关。

对于给定的预测变量，系数（b）可以解释为预测变量增加一个单位，同时保持所有其他预测变量固定的对y的平均影响。

例如，对于固定数量的youtube和报纸广告预算，在Facebook广告上花费额外的1000美元，平均可以使销售额增加大约0.1885 * 1000 = 189个销售单位。

youtube系数表明，在所有其他预测变量保持不变的情况下，youtube广告预算每增加1000美元，我们平均可以预期增加0.045 * 1000 = 45个销售单位。

我们发现报纸在多元回归模型中并不重要。这意味着，对于固定数量的youtube和报纸广告预算，报纸广告预算的变化不会显着影响销售单位。

由于报纸变量不重要，因此可以 将其从模型中删除 ，以提高模型精度：

最后，我们的模型公式可以写成如下：。 sales = 3.43+ 0.045*youtube + 0.187*facebook

一旦确定至少一个预测变量与结果显着相关，就应该通过检查模型对数据的拟合程度来继续诊断。此过程也称为拟合优度

可以使用以下三个数量来评估线性回归拟合的整体质量，这些数量显示在模型摘要中：

与预测误差相对应的RSE（或模型 sigma ）大致代表模型观察到的结果值和预测值之间的平均差。RSE越低，模型就越适合我们的数据。

将RSE除以结果变量的平均值将为您提供预测误差率，该误差率应尽可能小。

在我们的示例中，仅使用youtube和facebook预测变量，RSE = 2.11，这意味着观察到的销售值与预测值的平均偏差约为2.11个单位。

这对应于2.11 / mean（train.data $ sales）= 2.11 / 16.77 = 13％的错误率，这很低。

R平方（R2）的范围是0到1，代表结果变量中的变化比例，可以用模型预测变量来解释。

对于简单的线性回归，R2是结果与预测变量之间的皮尔森相关系数的平方。在多元线性回归中，R2表示观察到的结果值与预测值之间的相关系数。

R2衡量模型拟合数据的程度。R2越高，模型越好。然而，R2的一个问题是，即使将更多变量添加到模型中，R2总是会增加，即使这些变量与结果之间的关联性很小（James等，2014）。解决方案是通过考虑预测变量的数量来调整R2。

摘要输出中“已调整的R平方”值中的调整是对预测模型中包含的x变量数量的校正。

因此，您应该主要考虑调整后的R平方，对于更多数量的预测变量，它是受罚的R2。

在我们的示例中，调整后的R2为0.88，这很好。

回想一下，F统计量给出了模型的整体重要性。它评估至少一个预测变量是否具有非零系数。

在简单的线性回归中，此检验并不是真正有趣的事情，因为它只是复制了系数表中可用的t检验给出的信息。

一旦我们开始在多元线性回归中使用多个预测变量，F统计量就变得更加重要。

大的F统计量将对应于统计上显着的p值（p <0.05）。在我们的示例中，F统计量644产生的p值为1.46e-42，这是非常重要的。

我们将使用测试数据进行预测，以评估回归模型的性能。

步骤如下：

从上面的输出中，R2为 0.9281111 ，这意味着观察到的结果值与预测的结果值高度相关，这非常好。

预测误差RMSE为 1.612069 ，表示误差率为 1.612069 / mean(testData $ sales) = 1.612069/ 15.567 = 10.35 ％ ，这很好。

本章介绍了线性回归的基础，并提供了R中用于计算简单和多个线性回归模型的实例。我们还描述了如何评估模型的性能以进行预测。