回归系数的标准误（S.E）就是它的标准差吗？另外，回归的标准误（S.E of regression）又是啥意思？

Posted 2023-02-24

我已经百度知道了标准误和标准差的区别，但是那一般使用样本平均值做例子，现在按照那个来理解这个回归结果中的两个标准误，我表示，我晕了。。。

回归系数的标准误差就是它的标准差，统计量的标准差一般叫做标准误差，回归系数的估计其实就是均值估计。

回归的标准误应该是模型中随机扰动项（误差项）的标准差的估计值，它的平方实际上就是随机扰动项（误差项）的方差的无偏估计量，它实际上又叫做误差均方，等于残差的平方和/（样本容量-待估参数的个数）。

在回归方程中表示自变量x 对因变量y 影响大小的参数。回归系数越大表示x 对y 影响越大，正回归系数表示y 随x 增大而增大，负回归系数表示y 随x增大而减小。

例如回归方程式Y=bX+a中，斜率b称为回归系数，表示X每变动一单位，平均而言，Y将变动b单位。

扩展资料：

回归系数由回归方程求导数得到，所以，回归系数>0，回归方程曲线单调递增；回归系数<0，回归方程曲线单调递减；回归系数=0，回归方程求最值（最大值、最小值）。

标准差是一组数据平均值分散程度的一种度量。一个较大的标准差，代表大部分数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。

在物理科学中，做重复性测量时，测量数值集合的标准差代表这些测量的精确度。当要决定测量值是否符合预测值，测量值的标准差占有决定性重要角色。

如果测量平均值与预测值相差太远（同时与标准差数值做比较），则认为测量值与预测值互相矛盾。这很容易理解，因为如果测量值都落在一定数值范围之外，可以合理推论预测值是否正确。

标准差应用于投资上，可作为量度回报稳定性的指标。标准差数值越大，代表回报远离过去平均数值，回报较不稳定故风险越高。相反，标准差数值越小，代表回报较为稳定，风险亦较小。

参考资料来源：百度百科——回归系数

参考技术A 回归系数的标准误差就是它的标准差，统计量的标准差一般叫做标准误差，回归系数的估计其实就是均值估计哦。回归的标准误应该是模型中随机扰动项（误差项）的标准差的估计值。它的平方实际上就是随机扰动项（误差项）的方差的无偏估计量，它实际上又叫做误差均方，等于残差的平方和/（样本容量-待估参数的个数）。可以参考一下张晓峒老师的《计量经济学基础》，讲的很清晰！追问

非常感谢！！！对于您的回答，我还有点疑问的地方，首先，回归系数的估计为什么其实就是均值估计？另外，误差项方差的无偏估计量是叫做误差均方吗？这个和均方误差（MSE）有什么联系吗？

追答

你想一想，我们在估计解释变量对于被解释变量的影响时，实际上是估计的解释变量对于被解释变量的数学期望的影响，E(y)=a+b*x，所以是一个均值估计，回答的时候也是对于x的变化，y一般（平均）有什么样的变化。另外，我们在估计的时候都是用样本估计的，抽取一个样本就可以得到一个估计系数，再抽取一个还可以得到一个不同的估计系数，所以估计系数本身就是随机变量。而这种随机变量（由于是通过抽样获得的）的标准差就叫做标准误差。
误差项方差的误差均方是误差项方差的无偏估计量，这个和均方误差应该是一样的

本回答被提问者采纳

使用插入符号的岭逻辑回归系数的标准误差

【中文标题】使用插入符号的岭逻辑回归系数的标准误差

【英文标题】：Standard Error of Ridge Logistic Regression Coefficient using caret

【发布时间】：2020-05-27 14:18:09

【问题描述】：

我在 R 中使用caret 包来执行岭逻辑回归。 现在我可以找到每个变量的系数了。

问题是：如何知道使用岭逻辑回归产生的每个变量的系数标准误？

这是我的示例代码：-

Ridge1 <- train(Group ~., data = train, method = 'glmnet',
               trControl = trainControl("cv", number = 10),
               tuneGrid = expand.grid(alpha = 0, 
                                      lambda = lambda),
               family="binomial")

岭逻辑回归系数

coef(Ridge1$finalModel, Ridge1$bestTune$lambda)

如何获得逻辑回归模型中的结果（即：标准误差、wald 统计量、p 值等？）

【参考方案1】：

您不会从岭回归或 glmnet 回归中获得 p 值和置信区间，因为当存在惩罚项时，很难估计估计量的分布。 the publication for R package hmi的第一部分涉及到这一点，您可以查看this和this等帖子

我们可以尝试以下方法，例如从 caret 获取最佳 lambda 并在另一个包 hmi 中使用它来估计置信区间和 p 值，但我会谨慎解释这些，它们与自定义的非常不同逻辑glm。

library(caret)
library(mlbench)
data(PimaIndiansDiabetes)

X = as.matrix(PimaIndiansDiabetes[,-ncol(PimaIndiansDiabetes)])
y = as.numeric(PimaIndiansDiabetes$diabetes)-1

lambda = 10^seq(-5,4,length.out=25)

Ridge1 <- train(x=X,y=factor(y), method = 'glmnet',family="binomial",
               trControl = trainControl("cv", number = 10),
               tuneGrid = expand.grid(alpha = 0, 
                                      lambda = lambda))

bestLambda = Ridge1$bestTune$lambda

使用 hdi，但请注意系数与使用插入符号或 glmnet 获得的系数不完全相同：

library(hdi)
fit = ridge.proj(X,y,family="binomial",lambda=bestLambda)

cbind(fit$bhat,fit$se,fit$pval)

                  [,1]         [,2]         [,3]
pregnant  0.1137868935 0.0314432291 2.959673e-04
glucose   0.0329008177 0.0035806920 3.987411e-20
pressure -0.0122503030 0.0051224313 1.677961e-02
triceps   0.0009404808 0.0067935741 8.898952e-01
insulin  -0.0012293122 0.0008902878 1.673395e-01
mass      0.0787408742 0.0145166392 5.822097e-08
pedigree  0.9120151630 0.2927090989 1.834633e-03
age       0.0116844697 0.0092017927 2.041546e-01