大数据热词科普

Posted 2021-02-08 cda-jg

在前面的文章中我们给大家讲述了很多有关大数据的热词，我们在这篇文章中给大家介绍结构化数据、半结构化数据、非结构化数据、数据清洗。这些词汇都是和数据分析有关的，下面我们就给大家详细地介绍一下这些词的意思。

首先就是结构化数据，所谓结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如财务系统、医疗HIS数据库、、政府行政审批；其他核心数据库等。基本包括高速存储应用需求、数据备份需求、数据共享需求等等。由此可见结构化数据是十分常见的。

下面我们就给大家说一说半结构化数据，半结构化数据和普通纯文本相比，半结构化数据具有一定的结构性，但和具有严格理论模型的关系数据库的数据相比。OEM是一种典型的半结构化数据模型。如果我们在做一个信息系统设计时肯定会涉及到数据的存储，一般我们都会将系统信息保存在某个指定的关系数据库中。我们会将数据按业务分类，并设计相应的表，然后将对应的信息保存到相应的表中。而这个就是半结构化数据的应用。

接着我们给大家说一下非结构化数据，非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据，比如如数字、符号等信息而且更适合处理非结构化数据，非结构化数据比如全文文本、图象、声音、影视、超媒体等信息。

最后我们给大家说一下数据清洗的内容。数据清洗指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是一个十分重要的内容，因为肮脏数据都会影响数据分析的结果，使得数据分析变得毫无意义。

在这篇文章中我们给大家介绍了很多大数据的词汇，我们给大家介绍的词汇都是和数据分析有所联系的，如果我们在做数据分析以及大数据的话一定不能够忽略这类知识的掌握。