R语言中样本平衡的几种方法

Posted 2021-04-18 数之何

在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。在不平衡的数据中，任一算法都没法从样本量少的类中获取足够的信息来进行精确预测。因此，机器学习算法常常被要求应用在平衡数据集上。不平衡分类是一种有监督学习，但它处理的对象中有一个类所占的比例远远大于其余类。比起多分类，这一问题在二分类中更为常见。不平衡一词指代数据中响应变量（被解释变量）的分布不均衡，如果一个数据集的响应变量在不同类上的分布差别较大我们就认为它不平衡。

举个例子，假设我们有一个观测数为100000的数据集，它包含了哈佛大学申请人的信息。众所周知，哈佛大学以极低的录取比例而闻名，那么这个数据集的响应变量（即：该申请人是否被录取，是为1，否为0）就很不平衡，大致98%的观测响应变量为0，只有2%的幸运儿被录取。

在现实生活中，这类例子更是不胜枚举，我在下面列举了一些实例，请注意他们的不平衡度是不一样的。

• 一个自动产品质量检测机每天会检测工厂生产的产品，你会发现次品率是远远低于合格率的。

• 某地区进行了居民癌症普查，结果患有癌症的居民人数也是远远少于健康人群。

• 在信用卡欺诈数据中，违规交易数比合规交易少不少。

• 一个遵循6δ原则的生产车间每生产100万个产品才会产出10个次品。

生活中的例子还有太多，现在你可以发现获取这些非平衡数据的可能性有多大，所以掌握这些数据集的处理方法也是每个数据分析师的必修课。

 

常用样本平衡的处理办法

欠采样法

该方法主要是对大类进行处理。它会减少大类的观测数来使得数据集平衡。这一办法在数据集整体很大时较为适宜，它还可以通过降低训练样本量来减少计算时间和存储开销。

欠采样法共有两类：随机（Random）的和有信息的（Informative）。

随机欠采样法会随机删除大类的观测直至数据集平衡。有信息的欠采样法则会依照一个事先制定的准则来删去观测。

有信息的欠采样中，利用简易集成算法（EasyEnsemble）和平衡级联算法（BalanceCascade）往往能得到比较好的结果。这两种算法也都很直白易懂。

简易集成法：首先，它将从大类中有放回地抽取一些独立样本生成多个子集。然后，将这些子集和小类的观测合并，再基于合并后的数据集训练多个分类器，以其中多数分类器的分类结果为预测结果。如你所见，整个流程和无监督学习非常相似。

平衡级联法：它是一种有监督的学习法，首先将生成多个分类器，再基于一定规则系统地筛选哪些大类样本应当被保留。

但欠采样法有一个显而易见的缺陷，由于要删去不少观测，使用该方法会使得大类损失不少重要信息。

 

过采样法

这一方法针对小类进行处理。它会以重复小类的观测的方式来平衡数据。该方法也被称作升采样（Upsampling）。和欠采样类似，它也能分为随机过采样和有信息的过采样两类。

随机过采样会将小类观测随机重复。有信息过采样也是遵循一定的准则来人工合成小类观测。

使用该方法的一大优势是没有任何信息损失。缺点则是由于增加了小类的重复样本，很有可能导致过拟合（计算时间和存储开销也增大不少）。我们通过该方法可以在训练集上得到非常高的拟合精度，但在测试集上预测的表现则可能变得愈发糟糕。

 

人工数据合成法

简单说来，人工数据合成法是利用生成人工数据而不是重复原始观测来解决不平衡性。它也是一种过采样技术。

在这一领域，SMOTE法（Synthetic Minority OversamplingTechnique）是有效而常用的方法。该算法基于特征空间（而不是数据空间）生成与小类观测相似的新数据（总体是基于欧氏距离来度量相似性，在特征空间生成一些人工样本，更通俗地说是在样本点和它近邻点的连线上随机投点作为生成的人工样本）。我们也可以说，它生成了小类观测的随机集合来降低分类器的误差。为了生成人工数据，我们需要利用自助法（Bootstrapping）和K近邻法（K-neraestneighbors）。

详细步骤如下：

计算样本点间的距离并确定其近邻。生成一个0到1上的均匀随机数，并将其乘以距离。把第二步生成的值加到样本点的特征向量上。这一过程等价于在在两个样本的连线上随机选择了一个点。R中有一个包专门用来实现SMOTE过程。

 

代价敏感学习（CSL）

该方法会衡量误分类观测的代价来解决不平衡问题。它不会生成平衡的数据集，而是通过生成代价矩阵来解决不平衡问题。代价矩阵是描述特定场景下误分类观测带来的损失的工具。近来已有研究表明，代价敏感学习法很多时候比采样法更优。

例子：给定一个有关行人的数据集，我们想要了解行人是否会携带炸弹。数据集包含了所有的必要信息，且携带炸弹的人会被标记为正类，不带炸弹的就是负类。现在问题来了，我们需要把行人都分好类。让我们先来设定下这一问题的代价矩阵。如果我们将行人正确分类了，我们不会蒙受任何损失。但如果我们把一个恐怖分子归为负类（False Negative），我们要付出的代价会比把和平分子归为正类（FalsePositive）的代价大的多。

代价矩阵和混淆矩阵类似，都有伪正类（FP）和伪负类（FN）。只要观测被正确分类，我们不会有任何代价损失。该方法的目标就是找到一个使得总代价最小的分类器Total Cost = C(FN)xFN + C(FP)xFP,其中,FN是被误分类的正类样本数,FP是被误分类的负类样本数。C(FN)和C(FP)分别代表FN和FP带来的损失。本例中C(FN) > C(FP)

 

其它方法

除此之外，我们还有其他的比较前沿的方法来处理不平衡样本。

比如基于聚类的采样法（Cluster based sampling），自适应人工采样法（adaptivesynthetic sampling），边界线SMOTE（borderline SMOTE），SMOTEboost，DataBoost-IM，核方法等。

这些方法的基本思想和前文介绍的四类方法大同小异。还有一些更直观的方法可以帮助你提升预测效果：如利用聚类技术，把大类分为K个次类，每个此类的样本不重叠。再基于每个次类和小类的合并样本来训练分类器。最后把各个分类结果平均作为预测值。

除此之外，也可以聚焦于获取更多数据来提高小类的占比。

 

R语言中处理样本平衡的几种方法及案例

ROSE包中内置了一个叫做hacide的不平衡数据集，它包括hacide.train和hacide.test两个部分

data(hacide)summary(hacide.train)## cls x1 x2 ## 0:980 Min. :-3.73468 Min. :-3.17886 ## 1: 20 1st Qu.:-0.39539 1st Qu.:-0.78564 ## Median :-0.03025 Median:-0.06871 ## Mean :-0.03185 Mean :-0.06603 ## 3rd Qu.: 0.35474 3rd Qu.:0.69454 ## Max. : 1.98859 Max. : 3.03422
# 检查cls的分布prop.table(table(hacide.train$cls))#### 0 1## 0.98 0.02

数据的不平衡性极其严重。那么，这对我们的分类精度会带来多大影响？我们先建立一个简单的决策树模型：

treeimb <- rpart(cls ~ ., data =hacide.train)pred.treeimb <- predict(treeimb, newdata= hacide.test)roc.curve(hacide.test$cls,pred.treeimb[,2], plotit = F)## Area under the curve (AUC): 0.600

 我们将使用采样技术来提升预测精度。ROSE这个包提供了ovun.sample()的函数来实现过采样和欠采样。

 

过采样

data.balanced.over <- ovun.sample( cls ~.,  data = hacide.train,  method = "over", N = 1960,  seed = 1)$data# N代表最终平衡数据集包含的样本点，本例中我们有980个原始负类样本# 所以我们要通过过采样法把正类样本也补充到980个，数据集共有1960个观测。
summary(data.balanced.over)## cls x1 x2 ## 0:980 Min. :-3.7347 Min. :-3.17886 ## 1:980 1st Qu.:-1.4272 1st Qu.:-1.71230 ## Median :-0.3636 Median:-1.10791 ## Mean :-0.4976 Mean :-0.86577 ## 3rd Qu.: 0.3669 3rdQu.:-0.03141 ## Max. : 1.9886 Max. : 3.03422

欠采样

data.balanced.under <- ovun.sample( cls ~.,  data = hacide.train,  method = "under",  N = 40,  seed = 1)$data# 欠采样后数据是平衡了，但由于只剩下了40个样本，我们损失了太多信息。# 我们还可以同时采取这两类方法，只需要把参数改为method = “both”。# 这时，对小类样本会进行有放回的过采样而对大类样本则进行无放回的欠采样
summary(data.balanced.under)## cls x1 x2 ## 0:20 Min. :-3.7347 Min. :-3.0160 ## 1:20 1st Qu.:-1.4453 1st Qu.:-1.7321 ## Median :-0.2949 Median :-1.0603 ## Mean :-0.4647 Mean :-0.6991 ## 3rd Qu.: 0.4754 3rd Qu.:0.2932 ## Max. : 1.9886 Max. : 3.0342

 

 

双采样

data.balanced.both <- ovun.sample( cls ~.,  data = hacide.train,  method = "both",  p=0.5,  N=1000,  seed =1)$data# 函数的参数p代表新生成数据集中稀有类（正类）的比例。summary(data.balanced.both)## cls x1 x2 ## 0:520 Min. :-3.7347 Min. :-3.1789 ## 1:480 1st Qu.:-1.4999 1st Qu.:-1.6710 ## Median :-0.3341 Median :-1.0405 ## Mean :-0.4799 Mean :-0.8230 ## 3rd Qu.: 0.3648 3rd Qu.:0.1073 ## Max. : 1.9886 Max. : 2.8838 

人工数据合成

欠采样会损失信息，过采样容易导致过拟合，因而ROSE包也提供了ROSE()函数来合成人工数据，它能提供关于原始数据的更好估计。

data.rose <- ROSE( cls ~ .,  data =hacide.train,  seed = 1)$datasummary(data.rose)## cls x1 x2 ## 0:520 Min. :-7.3390 Min. :-3.8467 ## 1:480 1st Qu.:-1.1717 1st Qu.:-1.7673 ## Median :-0.2453 Median:-0.9313 ## Mean :-0.4795 Mean :-0.8213 ## 3rd Qu.: 0.3574 3rd Qu.:0.1108 ## Max. : 4.1899 Max. : 3.1168

这里生成的数据量和原始数据集相等（1000个观测）。现在，我们已经用4种方法平衡了数据，我们分别建模评评估精度。

 

训练决策树

tree.rose <- rpart(cls ~ ., data =data.rose)tree.over <- rpart(cls ~ ., data =data.balanced.over)tree.under <- rpart(cls ~ ., data =data.balanced.under)tree.both <- rpart(cls ~ ., data =data.balanced.both)

在测试集上做预测

pred.tree.rose <- predict(tree.rose,newdata = hacide.test)pred.tree.over <- predict(tree.over,newdata = hacide.test)pred.tree.under <- predict(tree.under,newdata = hacide.test)pred.tree.both <- predict(tree.both,newdata = hacide.test)

下面，使用roc.curve()函数来评估精度

roc.curve(hacide.test$cls,pred.tree.rose[,2], plotit = F)## Area under the curve (AUC): 0.989roc.curve(hacide.test$cls,pred.tree.over[,2], plotit = F)## Area under the curve (AUC): 0.798roc.curve(hacide.test$cls,pred.tree.under[,2], plotit = F)## Area under the curve (AUC): 0.867roc.curve(hacide.test$cls,pred.tree.both[,2], plotit = F)## Area under the curve (AUC): 0.798

因此，我们发现利用人工数据合成法可以带来最高的预测精度，其表现比采样法更好。这一技术和更稳健的模型结合（随机森林，提升法）可以得到更高的精度。当我们面对不平衡数据集时，我们常常发现利用采样法修正的效果不错。但在本例中，人工数据合成比传统的采样法更好。为了得到更好的结果，你可以使用一些更前沿的方法，诸如基于boosting 的人工数据合成。