数据缺失影响模型效果?是时候需要missingno工具包来帮你了!

Posted Python学习与数据挖掘

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据缺失影响模型效果?是时候需要missingno工具包来帮你了!相关的知识,希望对你有一定的参考价值。

数据探索和预处理是任何数据科学或机器学习工作流中的重要步骤。在使用教程或训练数据集时,可能会出现这样的情况:这些数据集的设计方式使其易于使用,并使所涉及的算法能够成功运行。然而,在现实世界中,数据是混乱的!它可能有错误的值、不正确的标签,并且可能会丢失部分内容。

丢失数据可能是处理真实数据集时最常见的问题之一。数据丢失的原因很多,包括传感器故障、数据过时、数据管理不当,甚至人为错误。丢失的数据可能以单个值、一个要素中的多个值或整个要素丢失的形式出现。

重要的是,在进行数据分析或机器学习之前,需要我们对缺失的数据进行适当的识别和处理。许多机器学习算法不能处理丢失的数据,需要删除整行数据,其中只有一个丢失的值,或者用一个新值替换(插补)。

根据数据的来源,缺失值可以用不同的方式表示。最常见的是NaN(不是数字),但是,其他变体可以包括“NA”、“None”、“999”、“0”、“ ”、“-”。如果丢失的数据是由数据帧中的非NaN表示的,那么应该使用np.NaN将其转换为NaN,如下所示。

df.replace('', np.NaN)

missingno 库

Missingno 是一个优秀且简单易用的 Python 库,它提供了一系列可视化,以了解数据帧中缺失数据的存在和分布。这可以是条形图、矩阵图、热图或树状图的形式。

从这些图中,我们可以确定缺失值发生的位置、缺失的程度以及是否有缺失值相互关联。通常,缺失的值可能被视为没有贡献任何信息,但如果仔细分析,可能有潜在的故事。

missingno库可以使用pip命令安装:

pip install missingno

数据集

在本教程中,我们将使用 Xeek and FORCE 2020举办的机器学习竞赛中公开可用数据集的一个子集。竞赛的目的是根据现有的标记数据预测岩性。数据集包括来自挪威海的118口井。

这些数据包含了测井仪器采集的一系列电测量数据。测量结果用于描述地下地质特征和确定合适的油气藏。
本文的数据和笔记本可以在 GitHub 中找到

https://github.com/andymcdgeo/missingno_tutorial

导入库和加载数据

该过程的第一步是导入库。在本文中,我们将使用 pandas 来加载和存储我们的数据,并使用 missingno 来可视化数据完整性。

将pandas导入为 pd

import pandas as pd
import missingno as msno
df = pd.read_csv('xeek_train_subset.csv')

Pandas 快速分析

在使用 missingno 库之前,pandas库中有一些特性可以让我们初步了解丢失了多少数据。

第一种是使用.descripe()方法。这将返回一个表,其中包含有关数据帧的汇总统计信息,例如平均值、最大值和最小值。在表的顶部是一个名为counts的行。在下面的示例中,我们可以看到数据帧中的每个特性都有不同的计数。这提供了并非所有值都存在的初始指示。

我们可以进一步使用.info()方法。这将返回数据帧的摘要以及非空值的计数。

从上面的例子中我们可以看出,我们对数据的状态和数据丢失的程度有了更简明的总结。

我们可以使用的另一种快速方法是:

df.isna().sum()

这将返回数据帧中包含了多少缺失值的摘要。isna()部分检测dataframe中缺少的值,并为dataframe中的每个元素返回一个布尔值。sum()部分对真值的数目求和。

此行返回以下信息

从这个总结中,我们可以看到许多列,即WELL、DEPTH、GROUP、GR 和 LITHOFACIES 没有空值。所有其他的都有大量不同程度的缺失值。

使用 missingno 识别缺失数据

在missingno库中,有四种类型的图用于可视化数据完整性:条形图、矩阵图、热图和树状图。在识别缺失数据方面,每种方法都有自己的优势。

让我们依次看一下这些。

条形图

条形图提供了一个简单的绘图,其中每个条形图表示数据帧中的一列。条形图的高度表示该列的完整程度,即存在多少个非空值。它可以通过调用:

msno.bar(df)

在绘图的左侧,y轴比例从0.0到1.0,其中1.0表示100%的数据完整性。如果条小于此值,则表示该列中缺少值。

在绘图的右侧,用索引值测量比例。右上角表示数据帧中的最大行数。

在绘图的顶部,有一系列数字表示该列中非空值的总数。

在这个例子中,我们可以看到许多列(DTS、DCAL和RSHA)有大量的缺失值。其他列(如WELL、DEPTH_MD和GR)是完整的,并且具有最大的值数。

矩阵图

如果使用深度相关数据或时间序列数据,矩阵图是一个很好的工具。它为每一列提供颜色填充。有数据时,绘图以灰色(或您选择的颜色)显示,没有数据时,绘图以白色显示。

通过调用以下命令可以生成矩阵图:

msno.matrix(df)


如结果图所示,DTS、DCAL和RSHA列显示了大量缺失数据。这是在条形图中确定的,但附加的好处是您可以查看丢失的数据在数据框中的分布情况

绘图的右侧是一个迷你图,范围从左侧的0到右侧数据框中的总列数。上图为特写镜头。当一行的每列中都有一个值时,该行将位于最右边的位置。当该行中缺少的值开始增加时,该行将向左移动。

热图

热图用于确定不同列之间的零度相关性。换言之,它可以用来标识每一列之间是否存在空值关系。

接近正1的值表示一列中存在空值与另一列中存在空值相关。

接近负1的值表示一列中存在空值与另一列中存在空值是反相关的。换句话说,当一列中存在空值时,另一列中存在数据值,反之亦然。

接近0的值表示一列中的空值与另一列中的空值之间几乎没有关系。

有许多值显示为<-1。这表明相关性非常接近100%负。

热图可由以下代码生成:

msno.heatmap(df)

在这里我们可以看到ROP柱与RHOB、NPHI和PEF柱呈轻微的负相关,与RSHA呈轻微的正相关。如果我们看一下DRHO,它的缺失与RHOB、NPHI和PEF列中的缺失值高度相关。

热图方法更适合于较小的数据集。

树状图

树状图提供了一个通过层次聚类生成的树状图,并将空相关度很强的列分组在一起。

如果在零级将多个列组合在一起,则其中一列中是否存在空值与其他列中是否存在空值直接相关。树中的列越分离,列之间关联null值的可能性就越小。

树状图可通过以下方式生成:

msno.dendrogram(df)

在上面的树状图中,我们可以看到我们有两个不同的组。第一个是在右侧(DTS、RSHA和DCAL),它们都具有高度的空值。第二列在左边,其余的列比较完整。

LITHOFACIES, GR, GROUP, WELL, 和 DEPTH_MD 都归为零,表明它们是完整的。

RDEP、ZïLOC、XïLOC和YïLOC组合在一起,接近于零。RMED位于同一个较大的分支中,这表明该列中存在的一些缺失值可以与这四列相关联。

摘要

在应用机器学习之前识别缺失是数据质量工作的一个关键组成部分。这可以通过使用missingno库和一系列可视化来实现,以了解有多少缺失数据存在、发生在哪里,以及不同数据列之间缺失值的发生是如何关联的。

技术交流

欢迎转载、收藏本文,码字不易,有所收获点赞支持一下!

为方便进行学习交流,本号开通了技术交流群,添加方式如下:

直接添加小助手微信号:pythoner666,备注:CSDN+python,或者按照如下方式添加均可!
在这里插入图片描述

以上是关于数据缺失影响模型效果?是时候需要missingno工具包来帮你了!的主要内容,如果未能解决你的问题,请参考以下文章

missingno库—缺失值可视化

缺失值处理——寻找缺失值

数据挖掘中的数据清洗方法大全

数据分析中缺失值的处理

不同缺失值(missing)填充(imputation)方法回归模型(Regressor)效果对比

机器学习sklearn----用随机森林来填充缺失值