数据质量及数据清洗方法

Posted dy9776

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据质量及数据清洗方法相关的知识,希望对你有一定的参考价值。

先对其进行介绍:
   数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。[1] 
数据清洗从名字上也看的出就是把“脏”的“洗掉”,指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”,这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成

残缺数据

这一类数据主要是一些应该有的信息缺失,如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入数据仓库

错误数据

这一类错误产生的原因是业务系统不够健全,在接收输入后没有进行判断直接写入后台数据库造成的,比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于全角字符、数据前后有不可见字符的问题,只能通过写SQL语句的方式找出来,然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务系统数据库SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。

重复数据

对于这一类数据——特别是维表中会出现这种情况——将重复数据记录的所有字段导出来,让客户确认并整理。
数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤,是否修正一般要求客户确认,对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉,对于每个过滤规则认真进行验证,并要用户确认。
 
---------------
数据质量及数据清洗方法
 

本文主要讨论实例层数据质量问题

  • 数据质量评价(12个维度)

1)数据规范(Data specification):对数据标准、 数据模型、业务规则、元数据和参考数据进行有关存在性、完整性、质量及归档的测量标准; 
      2)数据完整性准则(Data integrity fundamentals):对数据进行有关存在性、有效性、结构、内容及其他基本数据特征的测量标准; 
      3)重复(Duplication):对存在于系统内或系统间的特定字段、记录或数据集意外重复的测量标准; 
      4)准确性(Accuracy):对数据内容正确性进行测量的标准; 
      5)一致性和同步(Consistency and synchronization):对各种不同的数据仓库、应用和系统中所存储或使用的信息等价程度的测量,以及使数据等价处理流程的测量标准; 
      6)及时性和可用性(Timeliness and availability):在预期时段内数据对特定应用的及时程度和可用程度的测量标准; 
      7)易用性和可维护性(Ease of use and maintainability):对数据可被访问和使用的程度,以及数据能被更新、维护和管理程度的测量标准; 
      8)数据覆盖(Data coverage):相对于数据总体或全体相关对象数据的可用性和全面性的测量标准; 
      9)表达质量(Presentation quality);如何进行有效信息表达以及如何从用户中收集信息的测量标准; 
      10)可理解性、相关性和可信度(Perception,relevance and trust):数据质量的可理解性和数据质量中执行度的测量标准,以及对业务所需数据的重要性、实用性及相关性的测量标准; 
      11)数据衰变(Data decay):对数据负面变化率的测量标准; 
      12)效用性(Transactability):数据产生期望业务交易或结果程度的测量标准。
      在评估项目数据质量过程中,需先选取几个合适的数据质量维度,再针对每个所选维度,制定评估方案,选择合适的评估手段进行测量,最后合并和分析所有质量评估结果。

  • 清洗方法

       1)缺失数据处理

2)相似重复对象检测

3)异常数据处理

4)逻辑错误检测

5)不一致数据

 

以上是关于数据质量及数据清洗方法的主要内容,如果未能解决你的问题,请参考以下文章

大数据时代,为啥要对数据进行清洗

数据挖掘中数据清洗的方法

数据分析进阶 数据质量

数据清洗

数据探索之数据质量分析

大数据项目4(数据清洗与集成)