漫谈大数据 - 基于SparkSQL的离线数仓

Posted 昊昊该干饭了

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了漫谈大数据 - 基于SparkSQL的离线数仓相关的知识,希望对你有一定的参考价值。

目录

知识补充

离线数仓的分层设计

数据分层 ODS

数据分层 DW

数据分层 APP

数据建模


知识补充

在正式阅读之前,首先需要理解以下基本概念以帮助你更好的了解数据仓库:

  • 业务板块:比数据域更高维度的业务划分方法,适用于庞大的业务系统。
  • 维度:维度建模由Ralph Kimball提出。维度模型主张从分析决策的需求出发构建模型,为分析需求服务。维度是度量的环境,是我们观察业务的角度,用来反映业务的一类属性。属性的集合构成维度,维度也可以称为实体对象。例如,在分析交易过程时,可以通过买家、卖家、商品和时间等维度描述交易发生的环境。
  • 属性(维度属性):维度所包含的表示维度的列称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源,是数据易用性的关键。
  • 度量:在维度建模中,将度量称为事实,将环境描述为维度,维度是用于分析事实所需要的多样环境。度量通常为数值型数据,作为事实逻辑表的事实。
  • 指标:指标分为原子指标和派生指标。原子指标是基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,是具有明确业务含义的名词,体现明确的业务统计口径和计算逻辑,例如支付金额。
    • 原子指标=业务过程+度量。
    • 派生指标=时间周期+修饰词+原子指标,派生指标可以理解为对原子指标业务统计范围的圈定。
  • 业务限定:统计的业务范围,筛选出符合业务规则的记录(类似于SQL中where后的条件,不包括时间区间)。
  • 统计周期:统计的时间范围,例如最近一天,最近30天等(类似于SQL中where后的时间条件)。
  • 统计粒度:统计分析的对象或视角,定义数据需要汇总的程度,可理解为聚合运算时的分组条件(类似于SQL中的group by的对象)。粒度是维度的一个组合,指明您的统计范围。例如,某个指标是某个卖家在某个省份的成交额,则粒度就是卖家、地区这两个维度的组合。如果您需要统计全表的数据,则粒度为全表。在指定粒度时,您需要充分考虑到业务和维度的关系。统计粒度常作为派生指标的修饰词而存在。

 

离线数仓的分层设计

传统数仓:

数仓为什么要分层呢?

  • 清晰数据结构:每一个数据分层都有它的作用域,这样我们在使用表的时候能更方便地定位和理解。
  • 数据血缘追踪:简单来讲一张业务表的来源有很多,如果有一张来源表出问题了,我们希望能够快速准确地定位到问题,并清楚它的危害范围。
  • 减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算。将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解。而且便于维护数据的准确性,当数据出现问题之后,可以不用修复所有的数据,只需要从有问题的步骤开始修复。
  • 屏蔽原始数据的异常:屏蔽业务的影响,不必改一次业务就需要重新接入数据。

所以我们从理论上先来理解分层:

 我们来做一个抽象,可以把数据仓库分为下面三个层,即:数据运营层、数据仓库层和数据产品层。

数据分层 ODS

ODS全称是Operational Data Store,操作数据存储。

“面向主题”的数据贴源层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的ETL之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。


 

数据分层 DW

这一层是数据仓库的总体,它包含:

  • 公共汇总粒度事实层(DWS):以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表,以宽表化手段物理化模型。构建命名规范、口径一致的统计指标,为上层提供公共指标,建立汇总宽表、明细事实表。

    公共汇总粒度事实层的表通常也被称为汇总逻辑表,用于存放派生指标数据。

  • 明细粒度事实层(DWD):以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细层事实表。可以结合企业的数据使用特点,将明细事实表的某些重要维度属性字段做适当冗余,即宽表化处理。

    明细粒度事实层的表通常也被称为逻辑事实表。

数据分层 APP

数据产品层(APP),这一层是提供为数据产品使用的结果数据。

在这里,主要是提供给数据产品和数据分析使用的数据,一般会存放在es、mysql等系统中供线上系统使用,也可能会存在 Hive 或者Druid中供数据分析和数据挖掘使用。
 

当然在实际中,根据需要我们还可以扩充层次架构:

数据建模

 首先当然是明确需求:

  • 业务量(DAU),数据量(GB/TB/PB量级),增长率?
  • 用于离线数据分析场景,是否需要支持实时分析?可能涉及复杂查询?需要支持上层报表系统,是否开放给非技术人员使用?
  • 业务部门目前有没有明确的数据需求,半年内是否有数据监测分析和指标统计等需求?
  • 是否有采购商业级产品的预算,是否所以优先使用开源产品?

之后就是考虑成本:这里不做建议

然后考虑规模:

  • 对于未来一段时期内的数据量,需要有大致的评估
  • Oracle RAC支持少量节点集群和scale up场景
  • Hadoop集群可以进行水平扩展(scale out)
  • PG加上proxy 也可以水平分片
  • 除了引擎,外围系统同样需要考虑数据规模
  • 除了数据规模,还需要考虑租户用量

之后就是易用性、运维等等

再之后我们搭建数仓分层和引擎架构:

 相关技术栈:

可以参考下面的技术选型:

 

 那么这样的数据仓库,sparksql有什么优势呢?

sparksql在其中有自己的架构体系:

 

 最后我们来看一个真实的数仓架构:

 

写在最后,数据仓库也是很多表组成的,请永远记住什么是数据仓库?

数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。

更多数据仓库的介绍,请移步:

漫谈大数据 - 实时数据仓库以及大厂实际应用_昊昊该干饭了的博客-CSDN博客数据库是面向事务的设计,数据库一般存储在线交易数据, 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据库是为捕获数据而设计。数据仓库是面向主题设计的,数据仓库存储的一般是历史数据,数据仓库在设计是有意引入冗余,采用反范式的方式来设计,数据仓库是为分析数据而设计。https://blog.csdn.net/qq_52213943/article/details/124132686?spm=1001.2014.3001.5502

以上是关于漫谈大数据 - 基于SparkSQL的离线数仓的主要内容,如果未能解决你的问题,请参考以下文章

一文理解实时数据仓库的演进

离线数仓

离线数仓搭建_12_DWD层业务数据创建

网易严选离线数仓质量建设实践

网易严选离线数仓质量建设实践

网易严选离线数仓质量建设实践