思迈特软件Smartbi：数据清洗我们到底要“洗”掉什么？

Posted 2021-09-12 Smartbi大数据

数据清洗对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性，是企业在做数据分析时必不可少的步骤。

那么，数据清洗我们需要“洗”的数据有哪些呢？

1、错误数据

这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。

2、残缺数据

这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。

3、重复数据

数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。

对于出现的这种情况，数据清洗常用方法有以下4个：

1、丢弃

这种方法简单明了，直接删除带有缺失值的行记录或者列字段，减少趋势数据记录对总体数据的影响。但丢失意味着会消减数据特征，以下场景都不宜采用丢弃的方法：数据集总体存在大量的数据记录不完整情况；带有缺失值的数据记录大量存在着明显的数据分布规则或特征。

2、补全

相对于丢弃而言，补全是更加常用的缺失值处理方式，通过一定的方法将缺失的数据补上，从而形成完整的数据记录对于后续的数据处理、分析和建模直观重要。

3、不处理

在数据预处理阶段，对于具有缺失值的数据记录不做任何处理，也是一种思路。这种思路主要看后期的数据分析和建模应用，很多模型对于缺失值有容忍度或灵活的处理方法，因此在预处理阶段可以不做处理。

4、真值转换法

承认缺失值的存在，并且把数据缺失也作为数据分布规律的一部分，这将变量的实际值和缺失都作为输入维度参与后续数据处理和模型计算。但是变量的实际值可以作为变量值参与模型计算，而缺失值通常无法参与运算，因此需要对缺失值进行真值转换。

以上就是思迈特软件今天分享的数据清洗相关信息。
感谢您的阅读，更多知识，请继续关注我们，下期再见！
思迈特软件Smartbi是国家认定的“高新技术企业”，专注于商业智能（BI）与大数据分析软件产品和服务。我们在BI领域具有15年以上产品研发经验，提供完整的大数据分析软件产品、解决方案、以及配套的咨询、实施、培训及维护服务。