R软件可以做分段样条回归吗

Posted 2023-04-05

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了R软件可以做分段样条回归吗相关的知识，希望对你有一定的参考价值。

简单点说
hermite插值是用一条曲线来逼近，最高次数可能高于三次
三次样条插值是用连续的曲线来逼近，最高次数是三次参考技术A 可以，R语言在计量方面功能很强，做spline regression 可以使用splines包和lspline包，一起学习R econometrics欢迎邮箱联系wyhyq@cau.edu.cn 参考技术B

原文链接：http://tecdat.cn/?p=8531

执行多项式回归使用age预测wage。使用交叉验证为多项式选择最佳次数。选择了什么程度，这与使用ANOVA进行假设检验的结果相比如何？对所得多项式拟合数据进行绘图。

加载工资数据集。保留所有交叉验证误差的数组。我们执行K=10 K倍交叉验证。

我们通过绘制type = "b"点与线之间的关系图来说明结果。

请点击输入图片描述

我们再次以较高的年龄权重对模型进行拟合以进行方差分析。

根据F检验，我们应该选择年龄提高到3次的模型，通过交叉验证。

现在，我们绘制多项式拟合的结果。

请点击输入图片描述

拟合step函数以wage使用进行预测age 。绘制获得的拟合图。

请点击输入图片描述

交叉验证表明，在k = 8的情况下，测试误差最小。最小值的1sd之内的最简约模型具有k = 4，因此将数据分为5个不同的区域。

请点击输入图片描述

该Wage数据集包含了一些其他的变量，如婚姻状况（maritl），工作级别（jobclass），等等。探索其中一些其他预测变量与的关系wage，并使用非线性拟合技术将模型拟合到数据中。

请点击输入图片描述

看来一对已婚夫妇平均比其他群体挣更多的钱。信息类工作的工资平均高于工业类工作。

多项式和step函数

正如预期的那样，使用最复杂的模型可以使样本内数据拟合最小化。

我们不能使样条曲线拟合分类变量。

我们不能将样条曲线拟合到因子，但可以使用一个样条曲线拟合一个连续变量并添加其他预测变量的模型。

F检验表明，我们从模型四到模型一统计显著改善的变量有年龄，wage，maritl，和jobclass。

Boston数据回归

这个问题使用的变量dis（到五个波士顿就业中心的距离的加权平均值）和nox（每百万人口中一氧化氮的浓度，单位为百万）。我们将dis作为预测变量，将nox作为因变量。

使用poly()函数拟合三次多项式回归来预测nox使用dis。报告回归输出，并绘制结果数据和多项式拟合。

请点击输入图片描述

摘要显示，在nox使用进行预测时，所有多项式项都是有效的dis。该图显示了一条平滑的曲线，很好地拟合了数据。

绘制多项式适合不同多项式次数的范围（例如，从1到10），并报告相关的残差平方和。

我们绘制1到10度的多项式并保存RSS。

正如预期的那样，RSS随多项式次数单调递减。

执行交叉验证或其他方法来选择多项式的最佳次数，并解释您的结果。

我们执行LLOCV并手工编码：

请点击输入图片描述

基于交叉验证，我们将选择dis平方。

使用bs()函数拟合回归样条曲线使用nox进行预测dis。

我们以[3,6,9]大致相等的4个区间划分此范围

请点击输入图片描述

现在针对一定范围的自由度拟合样条回归，并绘制结果拟合并报告结果RSS。描述获得的结果。

我们使用3到16之间的dfs拟合回归样条曲线。

ISLR包中的College数据集。

将数据分为训练集和测试集。使用学费作为因变量，使用其他变量作为预测变量，对训练集执行前向逐步选择，确定仅使用预测变量子集的令人满意的模型。

请点击输入图片描述

所有cp，BIC和adjr2得分均显示6是该子集的最小大小。但是，根据1个标准误差规则，我们将选择具有4个预测变量的模型。

将GAM拟合到训练数据上，使用学费作为响应，并使用在上一步中选择的函数作为预测变量。绘制结果，并解释您的发现。

请点击输入图片描述

评估在测试集上获得的模型，并解释获得的结果。

对于哪些变量（如果有），是否存在与因变量呈非线性关系的证据？

非参数Anova检验显示了因变量与支出之间存在非线性关系的有力证据，以及因变量与Grad.Rate或PhD之间具有中等强度的非线性关系（使用p值为0.05）。

请点击输入图片描述

最受欢迎的见解

1.R语言多元Logistic逻辑回归应用案例

2.面板平滑转移回归(PSTR)分析案例实现

3.matlab中的偏最小二乘回归（PLSR）和主成分回归（PCR）

4.R语言泊松Poisson回归模型分析案例

5.R语言回归中的Hosmer-Lemeshow拟合优度检验

6.r语言中对LASSO回归，Ridge岭回归和Elastic Net模型实现

7.在R语言中实现Logistic逻辑回归

8.python用线性回归预测股票价格

9.R语言如何在生存分析与Cox回归中计算IDI，NRI指标

R语言：样条回归

解决何种问题

线性回归都知道是用来描述两个变量之间的线性关系，比如身高和体重，自变量身高每增加1个单位，因变量体重就变化多少，但是现实中能用线性回归描述的情况太少了，绝大部分关系都是非线性关系，这个时候就必须用其他回归来拟合了。例如类似下图这种数据，马上会想到用多项式回归，数据拐了2个弯，可以考虑用3次项回归，

如图2，其大致反应了数据的变化趋势，但有不足的地方，多项式是基于所有数据的，即所有的数据都符合多项式规律，且常常随着次数的增加，模型的复杂度也在玄素增加。但有的数据在某个值之前成直线关系，某个值之后又是二次项或三次项关系，这种数据就不能用一种关系表示，而要把数据分开，分开拟合曲线。仔细看数据，每段都是一个明显的线性关系，在拐点的地方，数据前后趋势发生变化，可以考虑用样条回归，如图3，较好的拟合曲线。

R语言：样条回归

方法说明

样条回归是把数据集划分成k个连续区间，划分的点为节点，每一个连续区间都用单独的模型，线性函数或者低阶多项式函数(如二次或三次多项等)，一般称为分段函数来拟合，很明显，节点越多，模型也越灵活。

样条回归可以看成是分段回归，但又不是简单的分段回归，它是加了约束条件的分段回归，要求在节点处连续。上图3展示的是简单的线性样条，有些数据过于复杂，还要考虑多项式样条回归，即每个分段拟合多项式，若是多项式样条，则不仅要求在节点连续，还要求在节点一阶导数相等，这样拟合出来的曲线更光滑，连起来也很自然。

R代码及解读

library(ISLR)library(splines)data(Wage)set.seed(1234)index <- sample(1:nrow(Wage),200)dt <- Wage[index,]   ##加载数据集

第一部分：分段多项式回归

onefit <- lm(wage~poly(age,3),data=dt,subset = (age<=40))twofit <- lm(wage ~ poly(age,3),data=dt,subset = (age>40))agelim1 <- range(min(dt$age),40)age_grid1 <- seq(agelim1[1],agelim1[2])preds1 <- predict(onefit,newdata = list(age=age_grid1),se.fit = T)se_lim1 <- cbind(preds1$fit+2*preds1$se.fit,preds1$fit-2*preds1$se.fit)
agelim2 <- range(40,max(dt$age))age_grid2 <- seq(agelim2[1],agelim2[2])preds2 <- predict(twofit,newdata = list(age=age_grid2),se.fit = T)se_lim2 <- cbind(preds2$fit+2*preds2$se.fit,preds2$fit-2*preds2$se.fit)
agelim <- range(dt$age)plot(dt$age,dt$wage,xlim=agelim,cex=0.5,col='gray', cex.axis=0.8,cex.lab=0.8, ylab="Wage", xlab="age")lines(age_grid1,preds1$fit,lwd=2,col='purple')lines(age_grid2,preds2$fit,lwd=2,col='purple')abline(v=40,lwd=1,lty=3)

R语言：样条回归

①上述数据集是从原始工资数据集Wage随机抽取200个样本用来拟合数据。

②我们在age=40处，将原数据集一分为二，切成两段，分别拟合3次多项式回归。因此有两个分段回归模型，最终拟合结果见上图。

③ 一个很重要的问题，整个模型在x=40处不连续，为了使模型在整个取值区间连续且光滑，我们给分段多项式模型添加一个限制，即：限制性回归样条。

第二部分：单节点的回归样条

newwage=dtfit <- lm(wage~bs(age,degree=2,knots = c(40)),data=newwage)##注意bsagelim <- range(newwage$age)age_grid <- seq(agelim[1],agelim[2])preds <- predict(fit,newdata=list(age=age_grid),se.fit=T)plot(newwage$age,newwage$wage,col='gray', cex.axis=0.8,cex.lab=0.8, ylab="Wage", xlab="age" )lines(age_grid,preds$fit,col=rainbow(100)[40],lwd=2)abline(v=c(40),lty=2,lwd=1)

R语言：样条回归

采用splines包中ns，做样条回归，由图我们的拟合的样条回归，光滑且连续。该样条还可称之为B样条，它存在的缺点是在数据的开始和结尾处，由于数据量少，导致模型的预测方差很大，可以看出95%的置信区间比较宽，由下图所示，因此引出自然样条回归。

第三部分：B样条vs自然样条

fit <- lm(wage~bs(age,knots = c(25,40,60)),data=newwage) ##bs样条，ns 是自然样条agelim <- range(newwage$age)age_grid <- seq(agelim[1],agelim[2])preds <- predict(fit,newdata=list(age=age_grid),se.fit=T)se_lim <- cbind(preds$fit+2*preds$se.fit,preds$fit-2*preds$se.fit)
plot(newwage$age,newwage$wage,col='gray', cex.axis=0.8,cex.lab=0.8, ylab="Wage", xlab="age" )lines(age_grid,preds$fit,col='red')matlines(age_grid,se_lim,lty=2,col='red')abline(v=c(25,40,60),lty=2,lwd=1)
############自然样条 nsfit <- lm(wage~ns(age,knots = c(25,40,60)),data=newwage) agelim <- range(newwage$age)age_grid <- seq(agelim[1],agelim[2])preds <- predict(fit,newdata=list(age=age_grid),se.fit=T)se_lim <- cbind(preds$fit+2*preds$se.fit,preds$fit-2*preds$se.fit)
lines(age_grid,preds$fit,col='blue')matlines(age_grid,se_lim,Ity=2,col='blue')abline(v=c(25,40,60),lty=2,lwd=0.8)legend(x=20,y=290,c('cubic spline','natural cubic spline'),col=c('red','blue'), lty=1,lwd=1,cex=0.8)

R语言：样条回归

需要说明的几个点：

①函数bs()的使用说明：构建一个多次回归样条的操作是很简单的，将整个模型放到lm()中，bs()函数的右边是预测的变量，knots定义的是将age分成多段的节点。如果不知道选择什么节点，则可以定义df=7，表示定义3个节点，那么模型会自动选择3个节点进行拟合，其中df=节点数+4。里面还有个参数degree，表示的是多次样条回归的次数，默认是3次回归样条，可以传入其他参数，比如4和5。

②为了解决B样条回归的边界预测误差大的问题，统计学家们又在B样条回归增加约束，这种回归成为自然样条回归，对应函数是ns()，通过上图的对比，蓝色为自然样条回归，红色为B样条回归，蓝色的虚线间距比红色的虚线间距窄，尤其是在age的两端，表明自然回归在age的边界处得到的结果更加稳健。

总结

1.对于不呈直线性的数据，除了多项式模型以外，如果整个数据的规律用一个模型解释不了的话，可以采用样条回归。

2.对比分段多项式,B样条回归和自然样条回归的优点和不足，以及样条回归的函数使用，根据实际情况选择适合自己的模型。

参考文献