R语言-缺失值判断以及处理

Posted 2020-10-23 Ghost House

#####缺失值判断以及处理##### #举例1：向量类型判断缺失值is.na和缺失值的填补which (x<-c(1,2,3,NA)) is.na(x)  #返回一个逻辑向量，TRUE为缺失值，FALSE为非缺失值 table(is.na(x))  #统计分类个数 sum(x)  #当向量存在缺失值的时候统计结果也是缺失值 sum(x,na.rm = TRUE)  #很多函数里都有na.rm=TRUE参数，此参数可以在运算时移除缺失值 (x[which(is.na(x))]<-0)  #可以用which()函数代替缺失值，which()函数返回符合条件的响应位置   #举例2：数据框类型判断缺失值is.na、缺失值的填补which、缺失值所在行的删除na.omit (test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9))) is.na(test)  #test中空值的判断 which(is.na(test),arr.ind = T)  #arr.ind=T可以返回缺失值的相应行列坐标 test[which(is.na(test),arr.ind = T)]<-0 #结合which进行缺失替代 (test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9))))  #na.omit函数可以直接删除值所在的行   #举例3：识别缺失值的基本语法汇总 str(airquality) complete.cases(airquality)  #判断个案是否有缺失值   airquality[complete.cases(airquality),]  #列出没有缺失值的行 nrow(airquality[complete.cases(airquality),])  #计算没有缺失值的样本量   airquality[!complete.cases(airquality),]  #列出有缺失的值的行 nrow(airquality[!complete.cases(airquality),])  #计算有缺失值的样本量   is.na(airquality$Ozone)  #TRUE为缺失值，FALSE为非缺失值 table(is.na(airquality$Ozone)) complete.cases(airquality$Ozone)  #FALSE为缺失值，TRUE为非缺失值 table(complete.cases(airquality$Ozone))   #可用sum()和mean()函数来获取关于缺失数据的有用信息 sum(is.na(airquality$Ozone))  #查看缺失值的个数 sum(complete.cases(airquality$Ozone))  #查看没有缺失值的个数 mean(is.na(airquality$Ozone))  #查看缺失值的占比 mean(is.na(airquality))  #查看数据集airquality中样本有缺失值的占比   #举例4：探索缺失值模式 #列表缺失值探索 library(mice) md.pattern(airquality)   #图形缺失值探索 library(VIM) aggr(airquality,prop=FALSE,number=TRUE) aggr(airquality,prop=TRUE,number=TRUE) #生成相同的图形，但用比例代替了计数 aggr(airquality,prop=FALSE,number=FALSE)  #选项numbers = FALSE（默认）删去数值型标签   #举例5：删除缺失值 airquality[complete.cases(airquality),] #方法一：删除缺失值行 na.omit(airquality) #方法二：删除缺失值的行   #举例6：缺失值回归模型插补 newnhanes2<-nhanes2 sub<-which(is.na(newnhanes2[,4]))  #返回newnhanes2数据集中第4列NA的行标识 datatr<-newnhanes2[-sub,]  #方法一：将第4列不为NA的数存入数据集datatr中 datatr<-newnhanes2[complete.cases(newnhanes2[,4]),]  #方法二：将第4列不为NA的数存入数据集datatr中 datate<-newnhanes2[sub,]  #方法一：将第4列为NA的数存入数据集datate中 datate<-newnhanes2[is.na(newnhanes2[,4]),]  #方法二：将第4列为NA的数存入数据集datate中 fit<-lm(chl~age,data = datatr)  #利用datatr中age为自变量，chl为因变量构建线性回归模型lm newnhanes2[sub,4]<-round(predict(fit,datate))  #利用datate中数据按照模型fit对nhanes2中chl中的缺失数据进行预测   #举例7：缺失值随机森林插补 library(missForest) z<-missForest(airquality)  #用随机森林迭代弥补缺失值 air.full<-z$ximp zz<-missForest(nhanes2) nhanes2.full<-zz$ximp   #举例8：线性回归模型插补 mice::md.pattern(airquality) index1<-is.na(airquality$Ozone) #对Ozone变量进行缺失值处理 dput(colnames(airquality))  #求出变量列名称 Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #训练集，需注意什么时候用!,什么时候用- Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #测试集 fit<-lm(Ozone~.,data = Ozone_train) #建立线性回归模型 summary(fit) airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )   index2<-is.na(airquality$Solar.R)  #Solar.R变量进行缺失值处理,Ozone变量数据已补齐 Solar.R_train<-airquality[!index2,]  #训练集 Solar.R_test<-airquality[index2,]  #测试集 Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train) summary(Solar.R_fit) airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test) mice::md.pattern(airquality)   #knn和bag缺失值插补(利用caret包中的preProcess函数，method参数有多种方式可选) question<-read.csv("问卷调研数据.csv") question<-question[,-1] str(question) for(i in 1:ncol(question)){   question[,i]<-as.factor(question[,i]) }  #批量修改为因子类型 str(question)   #举例9：利用KNN算法进行缺失值插补(只能对数值型变量处理) question<-read.csv("问卷调研数据.csv") question<-question[,-1] mice::md.pattern(question)  #列表缺失值探索 library(caret) knn.model<-preProcess(question,method = "knnImpute") #KNN处理数值型数据(欧式距离),不能处理因子型数据 question1<-predict(knn.model,newdata = question) install.packages("RANN") mice::md.pattern(question1) table(question1$性别)  #不是之前的1和2了 table(question$性别) #最后结果：knn不适合处理该数据，需要做哑变量处理，再套模型   #举例10：利用袋装算法进行缺失值插补(只能对数值型变量处理) question<-read.csv("问卷调研数据.csv") question<-question[,-1]   mice::md.pattern(question) #列表缺失值探索 library(caret) bag.model<-preProcess(question,method = "bagImpute") #bag算法模型建立 install.packages("ipred") question2<-predict(bag.model,question) #预测结果 mice::md.pattern(question2)  #列表缺失值探索 table(question2$性别) #最后结果：bag算法不适合处理该数据