数据中台体系规划建设

Posted 2022-09-29

数据中台是企业数据汇聚地，企业的一切数据都汇聚到数据中台，企业业务所需的数据总能在数据中台找到。但数据中台中的数据并不是简单地堆积，各种系统产生的原始数据堆积在一起导致使用成本非常高，这类数据只能在某些数据技术基础非常好的部门使用，而且会经常出现命名不一、口径不一的问题，从而导致整个企业数据无法真正用起来。数据中台数据体系是在全域原始数据的基础上，进行标准定义及分层建模，数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系，可以方便支撑数据应用。

中台数据体系应具备以下特征：

• 覆盖全域数据：数据集中建设，覆盖所有业务过程数据，业务在中台数据体系中总能找到需要的数据。
• 结构层次清晰：纵向的数据分层，横向主题域、业务过程划分，让整个层次结构清晰易理解。
• 数据准确一致：定义一致性指标，统一命名、统一业务含义、统一计算口径，并有专业团队负责建模，保证数据的准确一致。
• 性能提升：统一的规划设计，选用合理的数据模型，清晰地定义并统一规范，并且考虑使用场景，使整体性能更好。
• 降低成本：数据体系的建设使得数据能被业务共享，这避免了大量烟囱式的重复建设，节约了计算、存储和人力成本。
• 方便易用：易用的总体原则是越往后越能方便地直接使用数据，把一些复杂的处理尽可能前置，必要时做适当的冗余处理。比如在数据的使用中，可以通过维度冗余和事实冗余来提前进行相关处理，以避免使用时才计算，通过公共计算下沉、明细与汇总共存等为业务提供灵活性。统一数据体系的建设让整个企业的业务都有机会使用数据。

为了使数据体系在建设时具备以上特征，需要一个体系化的数据层次架构，这个层次架构定义了数据分层及每一层的模型建设规范。数据体系架构是一套指导规范，实施过程中应严格按照架构执行。

• 贴源数据层ODS（Operational Data Store，又称操作数据层）：对各业务系统数据进行采集、汇聚，尽可能保留原始业务流程数据，与业务系统基本保持一致，仅做简单整合、非结构化数据结构化处理或者增加标识数据日期描述信息，不做深度清洗加工。
• 统一数仓层DW（Data Warehouse）：又细分为明细数据层DWD（Data Warehouse Detail）和汇总数据层DWS（Data Warehouse Summary），与传统数据仓库功能基本一致，对全历史业务过程数据进行建模存储。对来源于业务系统的数据进行重新组织。业务系统是按照业务流程方便操作的方式来组织数据的，而统一数仓层从业务易理解的视角来重新组织，定义一致的指标、维度，各业务板块、业务域按照统一规范独立建设，从而形成统一规范的标准业务数据体系。
• 标签数据层TDM（Tag Data Model）：面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系，方便深度分析、挖掘、应用。
• 应用数据层ADS（Application Data Store）：按照业务的需要从统一数仓层、标签数据层抽取数据，并面向业务的特殊需要加工业务特定数据，以满足业务及性能需求，向特定应用组装应用数据。

另外，建设过程中数据的读取也有严格的规范要求。按照规范，贴源数据层直接从业务系统或日志系统中获取数据。贴源数据层的数据只被统一数仓层使用，统一数仓层数据只被标签层和应用层使用。贴源数据层、统一数仓层只保存历史数据以及被标签层、应用层引用，不直接支撑业务，所有业务使用的数据均来源于标签层和应用层。

在实际建设过程中，由于业务使用数据都非常紧急以及统一数仓层建设跟不上业务的需要，所以标签层、应用层也可以直接引用贴源数据层数据，这种不规范操作有可能导致出现数据口径不一致的情况。待统一数仓层建设完毕，要切换回统一数仓层来支撑标签层或者应用层。