时间:2021-05-20
补充:R语言数据缺失值处理(随机森林,多重插补)
缺失值是指数据由于种种因素导致的数据不完整,可以分为机械原因和人为原因。对于缺失值我们通常采用以下几种方法来进行插补。
通过read.csv函数导入文档,也可以用其他函数读入,如openxlsx::read.xlsx,read.table等。
head()查看数据前几行。
airquality <- read.csv(data.csv)head(airquality)首先,summary()查看数据基本信息
summary(airairquality)可以看到Ozone中存在缺失值NA
通过调用VIM::aggr()查看函数的缺失值(如果包安装较慢,可选用本地安装,链接已附需自行下载)
#install.packages(‘VIM')library(VIM)aggr(airquality)通过上图,可以看到Ozone和Solar.R存在缺失值。
(1)删除缺失值
若样本中存在较少缺失值或缺失值比例较小不影响分析结果时,可选择直接将缺失值删除。
dat1 <- na.omit(airquality)(2)平均值、中位数填补
若不能直接将缺失值删除也可选择平均值、众数、中位数等进行填补
#平均值填补airquality$ Ozone[is.na(airquality$Ozone)] <- mean(airquality $ Ozone,na.rm=T)#中位数填补airquality$ Solar.R[is.na(airquality$ Solar.R)] <- median(airquality$ Solar.R,na.rm = T)#计算缺失值个数,等于0 则不存在缺失值sum(is.na(airquality))#相邻均值填补airquality <- read.csv(data.csv) #重新读入数据for (i in 1:length(airquality$ Ozone)) {airquality$ Ozone[i] <- ifelse(is.na(airquality$ Ozone[i]),mean(c(airquality$ Ozone[i-1],airquality$ Ozone[i+1]),na.rm=T),airquality$ Ozone[i])}(1)K-近邻算法填补
基本思想:对于需要填补的观测值,先利用欧氏距离找到其邻近的K个观测,再将这K个邻近的值进行加权平均进行填补。
原始数据中存在多个缺失值,可以利用DMwR包中的knnImputation()函数进行填补
dat1 <- knnImputation(airquality[,c(1:4)],meth = ‘weighAvg',scale = T)提取原始数据中的前4列进行填补,meth = 'weighAvg'指使用加权平均的方法进行填补,scale = T指在选取邻近值时,先对数据进行标准化。
aggr(dat1) #查看缺失值分布(2)随机森林填补缺失值
接下来介绍一个新的填补方法–随机森林填补,随机森林是机器学习中一种常见的方法,以决策树为基分类的器的集成学习模型。
missForest包中missForest()函数可实现随机森林填补,ntree代表模型中的树的棵数,一般情况下,对于高维数据可选择较小的值(如100),以达到快速插补的效果;对于大数据集进行填补时,可能耗时比较多。
library(missForest)dat2 <- missForest(airquality,ntree = 100)dat2中包含填补好的数据,可利用dat2$ximp查看填补后的值,
head(dat2$ximp)aggr(dat2$ximp)同时,OOBerror表示袋外填补缺失的误差估计。
dat2$OOBerror多重插补法是在一个缺失的数据集中生成一个完整的数据集,并利用蒙特卡洛的方法进行填补的一种重复模拟的方法。
包mice中的mice()函数可实现对缺失数据的多重插补,原数据集中Ozone和Solar.R变量存在缺失,采用‘rf'法插补。
dat3 <- mice(airquality,m=5,method = ‘rf')其中,m为生成完整数据集的个数,默认为5. method为插补参数的方法,‘norm.predict'、‘pmm'、‘rf'、‘norm'依次为回归预测法、平均值插补法、随机森林法和高斯线性回归法。
summary(dat3)通过以下代码可查看填补的值
dat3$ imp$Solar.R最后选择某一列(如1,2,3)填充到缺失数据集中即可形成完整的数据集.
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
一、插补查找算法插补查找算法又称为插值查找,它是折半查找算法的改进版。插补查找是按照数据的分布,利用公式预测键值所在的位置,快速缩小键值所在序列的范围,慢慢逼近
一维插值插值不同于拟合。插值函数经过样本点,拟合函数一般基于最小二乘法尽量靠近所有样本点穿过。常见插值方法有拉格朗日插值法、分段插值法、样条插值法。拉格朗日插值
一维插值插值不同于拟合。插值函数经过样本点,拟合函数一般基于最小二乘法尽量靠近所有样本点穿过。常见插值方法有拉格朗日插值法、分段插值法、样条插值法。拉格朗日插值
如果是空调的电源线不够长,可以用插排解决。需要注意的是挂式空调电流不会超过10A,可以买一个16A的插排。把插排插在空调插座上,空调插头插在插排上即可。 空调
以手机为例,手机尾插坏了充电如下: 1、找个修手机的店铺,让店铺的维修师傅进行修理,像插尾坏掉是很容易修理的。 2、在维修师傅修理好之后,就可以通过插尾进行