数据仓库系列数据仓库的特点与架构分类--数仓与数据库究竟有什么区别??

Posted N个程序猿的日常

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据仓库系列数据仓库的特点与架构分类--数仓与数据库究竟有什么区别??相关的知识,希望对你有一定的参考价值。


  • 数据仓库理论介绍:

    • 一:数据仓库的四大特点:

    • 二:数据仓库和数据库的区别

    • 三:OLTP和OLAP的区别:

    • 四:有哪些数据仓库架构?

    • 数据仓库的解决方案:


数据仓库理论介绍:

数据仓库是一个面向主题的,集成的,非易失的且随时间变化的数据集合

一:数据仓库的四大特点:

1):面向主题:

  • 「主题(Subject)」 是在较高层次上企业信息系统中的数据进行综合,归类和分析利用的一个抽象概念。
  • 每一个主题基本对应一个 「宏观的分析领域」
  • 它是对应企业中某一宏观分析领域所涉及的分析对象
提取主题:
  • 一个面向事务处理的商场数据库系统,其数据模式:
    • 员工
    • 部门
    • 领料单
    • 进料单
    • 库存
    • 库房
    • 顾客`
    • 销售
    • 订单
    • 订单细则
    • 供应商
    • 采购子系统:
    • 销售子系统:
    • 库存管理子系统:
    • 人事管理子系统:

2):集成

  • 集成性是指数据仓库中数据必须是一致的
    • 数据仓库的数据是从原有的分散的多个数据库,数据文件和数据段中抽取来的
    • 数据来源可能既有 「内部数据又有外部数据」
  • 集成方法
    • 统一:消除不一致的现象
    • 综合:对原有数据进行综合和计算

3):非易失

  • 数据仓库中的数据是经过抽取而形成的分析型数据
    • 不具有原始性
    • 主要供企业决策分析之用
    • 执行的主要是查询操作,一般情况下不执行更新操作
    • 一个稳定的数据环境也有利于数据分析操作和决策的制订

4):随时间变化

  • 数据仓库以 「维的形式」对数据进行组织, 「时间维」是数据仓库很重要的一个维度
    • 不断增加新的数据内容
    • 不断删去旧的数据内容
    • 更新与时间有关的综合数据

二:数据仓库和数据库的区别


「数据库」 「数据仓库」
本质 数据的集合 数据的集合
定位 事务处理OLTP 数据分析OLAP
面向群体 前端用户 管理人员
操作 增删改查 查询
数据粒度 事件记录 维度
表结构 3NF 星型、雪花

三:OLTP和OLAP的区别:

  • 「联机事务处理OLTP」
    • On-line Transaction Processing
    • OLTP是传统的关系型数据库的主要应用
「对比属性」 「OLTP」 「OLAP」
「读特性」 每次查询只返回少量记录 对大量记录进行汇总
「写特性」 随机、低延时写入用户的输入 批量导入
「使用场景」 用户,Java EE项目 内部分析师,为决策提供支持
「数据表征」 最新数据状态 随时间变化的历史状态
「数据规模」 GB TB到PB

四:有哪些数据仓库架构?

lnmon架构--范式建模:

ER建模:

lnmon提出--

从全企业的高度设计的一个3NF模型

Inmon模型将模型划分为「三个层次」:

  • ERD--Entity Relationship Diagram 「实体关系图层」
  • DIS--Data Item Set 「数据项集层」
  • PM--Physical Model 「物理模型」
Data Vault建模:

Dan Linstedt提出--

ER模型的衍生,为了实现数据的整合

强调可审计的基础数据层

基于主题将企业数据结构化组织

Data Vault组成:
  • 「Hub:企业的核心业务实体」
  • 「Link:代表Hub之间的关系」
  • 「Satellite:是Hub的详细描述内容」
Anchor建模:

Lars.Ronnback提出--

一个高度可扩展的模型,核心是所有的扩展知识添加而不是修改。

模型规范升级成6NF,变成K-V结构化模型

Anchor模型组成:
  • 「Anchors:代表业务实体,且只有主键」
  • 「Attributes:类似Satellite,更规范,全部K-V化」
  • 「Ties:Anchors之间的关系,类似Link」
  • 「Knots:代表可能在多个Anchors中公用的属性的提炼」

Kimball架构--维度建模:

在这里插入图片描述

Kimball提出--

是一种自上而下的建模方式,从分析决策的需求出发构建模型,关注如何更快速的完成需求分析,

维度建模数据仓库模型构建过程:
选择业务流程
  • 确认哪些业务处理流程是数据仓库应该覆盖的
  • 记录方式
    • 纯文本
    • 使用业务流程建模标注(BPMN)方法
    • 使用同一建模语言(UML)
声明粒度
  • 确定事实中表示的是什么
  • 选择维度和事实前必须声明粒度
  • 建议从原始粒度数据开始涉及
  • 不同的事实可以有不同的粒度
确认维度
  • 说明事实表的数据从哪里采集来的
  • 典型的维度都是名词
  • 维度表存储了某一维度的所有相关数据
确认事实
  • 识别数字化的度量,构成事实表的记录
  • 和系统的业务用户密切相关
  • 大部分事实表的度量都是数字类型

混合型架构:

在这里插入图片描述

现在我在的公司主流使用Kimball的维度建模方式,两种架构各有优缺点,根据不同需求使用不同的架构完成。

数据仓库的解决方案:

数据采集

  • flume,sqoop,logstash,datax

数据存储

  • mysql,hdfs,hbase,redis,mongoDB

数据计算

  • hive,tez,spark,flink,storm,impala

数据可视化

  • tableau,echarts,superset,quickbi,datav

任务调度

  • oozie,azkaban,crontab


以上是关于数据仓库系列数据仓库的特点与架构分类--数仓与数据库究竟有什么区别??的主要内容,如果未能解决你的问题,请参考以下文章

数仓系列第11篇:实时数仓

大数据数仓项目架构

如何设计好数仓?数仓到底是什么?---详解

如何设计好数仓?数仓到底是什么?---详解

实时数据仓库建设思路

百度阿里腾讯平台架构都熟悉,小米大数据平台架构OLAP架构演进是否了解