数据仓库和数据挖掘的OLAP技术

Posted 2021-04-27 走出一条属于自己的路

前言：根据数据仓库设计数据清理和数据集成，可以看作数据挖掘的一个重要预处理步骤。OLAP技术用于各种粒度的多维数据分析，有利于有效的数据挖掘。数据仓库已经成为数据分析和练级数据分析处理日趋重要的平台，并将为数据挖掘提供有效的平台。

---

一、数据仓库

      数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理决策制定。

     面向主题的：数据仓库围绕一些主题。数据仓库关注决策者的数据建模与分析，而不是构造组织机构的日常操作和事务处理。因此，数据仓库排除对于决策无用的数据，提供特定主题的简明视图。

    集成的：构造数据仓库是将多个异种数据源，使用数据清理和数据集成技术，确保命名约定、编码结构、属性度量的一致性。

   时变性：数据存储从历史的角度提供信息。数据仓库中的关键结构，隐式或显式地包含时间元素。

  非易失的：数据仓库总是物理地分离存放数据；这些数据源于操作环境下的应用数据。由于这种分离，数据仓库不需要事务处理、恢复和并行控制机制。通常，它只需要两种数据访问：数据的初始化装入和数据访问。

二、操作数据库系统与数据仓库的区别

       OLTP和PLAP的主要区别

       用户和系统的面向性：OLTP是面向顾客的，用于办事员、客户、和信息技术专业人员的事务和查询处理。OLAP是面向市场的，用于知识工人的数据分析。

       数据内容：OLTP系统管理当前数据。通常，这种数据太琐碎，难以方便地用于决策。OLAP系统管理大量历史数据，提供汇总和聚集机制，并在不同的粒度级别上存储和管理信息。这些特点使得数据容易用于见多识广的决策。

      数据库设计：OLTP系统采用实体-联系模型和面向应用的数据库设计。而OLAP系统通常采用星形或雪花模型和面向主题的数据库设计。

      视图：OLTP系统主要关注一个企业或部门内部的当前数据，而不涉及历史数据或不同组织的数据。

      访问模式：OLTP系统的访问主要由短的、原子事务组成。这种系统需要并行控制和恢复机制。然而，对OLAP系统的访问大部分是只读操作，尽管许多可能是复杂的查询。