大数据-数据底座架构/数据中台建设

Posted 2023-04-04 黄小果

前言

在信息化向数字化转型的过程中，企业积累了海量的数据，并且还在爆发式的增长。数据很多，但是真正能产生价值的数据却很少。数据普遍存在分散，不拉通对齐等问题，缺乏统一的定义及架构，找到想要的，能用的数据越来越难。
如何实现数据的汇聚和联接，打破数据孤岛与垄断，就显得格外重要。

一、数据底座的目标

1. 统一管理结构化、非结构化的数据，这些都是数据资产，能够追溯到数据的生产者、消费者以及业务源头；
2. 打通数据服务供应通道，为数据消费提供丰富的数据原材料、半成品或者成品，满足公司的自助分析、数字化运营等不同场景的数据消费需求；
3. 确保公司数据完整、一致、共享。监控数据全链路下的各个环节的数据情况；从存储的角度，诊断数据冗余、重复以及”僵尸“问题，降低数据维度和使用成本；
4. 保障数据安全可控，基于数据安全策略，利用数据权限控制，通过数据服务封装等技术手段，实现对涉密数据和隐私数据的合法、合规的消费；

二、数据底座架构图

数据底座的建设不是一蹴而就的，需要统筹推动，以用促建；数据owner是各业务线数据底座建设的第一责任人；建设原则如下：

1. 数据安全原则：应遵循用户权限、数据密级、隐私基本等管理要求；
2. 需求、规划双轮驱动原则：业务规划和需求双驱动进行建设，对核心数据资产优先建设；
3. 数据供应多场景原则：按照业务需要提供不通数据供应通道（离线/实时/物理/虚拟），满足不同的消费场景；
4. 信息架构遵从原则：数据底座数据资产应遵从公司的信息架构；

三、数据入湖

数据入湖的标准

1. 明确数据owner
2. 发布数据标准
3. 认证数据源
4. 定义数据密级
5. 数据质量评估
6. 元数据注册

数据入湖的方式

1. 批量集成
2. 数据复制同步
3. 消息集成
4. 流集成
5. 数据虚拟化

更多内容

大数据-数据湖建设

四、数据主题联接：将数据转换为信息

通过5类联接方式，将不通业务线的数据联接起来，将数据湖中的数据由原材料加工厂半成品、成品，支撑不通场景的数据消费需求；

1. 多维模型
2. 图模型
3. 标签
4. 指标数据
5. 算法与模型

更多内容

大数据-数据建模&主题联接

参考：
《华为数据之道》

阿里数据中台底座的12年建设实践

简介： 在当下如火如荼的金融行业中台建设浪潮中，不少金融机构对于中台建设仍存诸多迷思，中台建设将走向何方？数据资产到底该如何管理？阿里巴巴的中台建设之路应该能为金融机构带来借鉴。 日前，在阿里云举办的2021阿里云金融数据智能峰会上，阿里云智能计算平台事业部研究员关涛对阿里巴巴如何构建数据中台核心三要素中的平台技术部分进行了全盘分享，其中包括数据平台发展的四个典型阶段，支持中台业务的四大技术挑战，以及数据平台的四大技术趋势等。

文/阿里云智能计算平台事业部研究员 关涛

阿里巴巴数据平台发展的四大阶段

构建数据中台，一个强大的数据平台作为底座必不可少。 阿里巴巴数据平台发展的四个阶段，一定程度上其实也是阿里巴巴数据中台发展的四个阶段。这四个阶段里，你可以看到阿里巴巴对自身数据的商业价值的萃取，对原有分而治之的数据系统的聚合，对计算数据资产化和数据高效应用的新思路以及对数据平台治理过程中面临的组织变革等。

阶段一：业务百花齐放，发现数据价值

2009年到2012年，阿里巴巴电商业务进入爆发期，涌现出非常多有名的业务团队，比如淘宝、1688、AliExpresss、一淘等。每个业务都是基于数据驱动的全场景业务，业务方对数据有着强烈的诉求。 那个时候，阿里巴巴技术几乎都是IOE架构，核心数据系统是Oracle。2年时间内，阿里巴巴建成了全亚洲最大的Oracle集群。但是在2010年，Oracle已经不能满足计算的要求，有非常多数据延迟和不满足性，再加上昂贵的成本，没办法继续支撑业务发展。 阿里巴巴开始认真审视建设下一代数据平台的重要性，同时启动了两个并行项目：一个是“云梯1”，基于开源Hadoop技术体系，多个业务团队构建多个Hadoop集群，集群规模达到4000台服务器。 一个是“云梯2”（ODPS，现MaxCompute），作为阿里巴巴自研产品启动研发，集群规模1200台左右。蚂蚁小微贷款“牧羊犬”业务是第一个吃螃蟹的业务，上线“云梯2”的过程被称为“人肉云计算”与“分步试计算”。王坚院士2018年曾在央视《朗读者》节目朗读《进入空气稀薄地带》，形容的就是自研数据平台那时的现状与信念。 两个项目在阿里巴巴内部形成竞合状态，并行探索阿里巴巴数据平台发展的轨迹。这个时期，所有业务方的数据几乎都是垂直建设，以自己业务形态形成独立小闭环的形式飞快向前奔跑。

阶段二：业务垂直小闭环，数据孤岛显现 

2012年到2015年，阿里巴巴电商业务在飞速发展的同时，涌现出更多的新兴业务：2013年，创立菜鸟，启动“all-in 无线”战略；2014年，投资高德，与银泰合资，阿里旅行成立；2015年，推出钉钉/零售通、成立口碑、控股阿里健康等等。 这个时期，阿里巴巴业务蓬勃发展，形成了12个业务部门和9套不同的平台系统，而且每套平台系统架构都不一样，用户数字化流程需要横跨多个BU的多套数据系统。 数据孤岛现象开始日益严重，数据成本越来越高，统一的数据平台建设已经迫在眉睫，这也是阿里巴巴数据中台的起点。 与此同时，“云梯1”和“云梯2”也正在经历大变革。 2013年3月28日，阿里巴巴集团技术保障部架构师云铮的邮件直达集团高层：“按照数据增量与未来业务增长的情况，云梯1和云梯2两套系统的存储和计算能力将在今年6月21日到达瓶颈。”届时，许多的业务将因为技术的限制而无法展开。 这意味着，数据平台已经无法再同时并行“云梯1”与“云梯2”两个项目，必须选择其中1个。如果选择“云梯1”，Hadoop的5000节点限制如何突破？涉及到金融业务，开源体系如何保证大数据的安全与可用性？跨机房方案业界无参考如何解决？业务交互频繁，跨机房如何保证数据稳定交互？ 一系列的技术难题都逐渐将数据平台推向自研道路。 最终，阿里巴巴集团多个技术部门合璧，决定选择“云梯2”挑战5K巅峰。短短几个月时间，“云梯2”从1500台跨入5000台并突破单物理机房限制，通过10倍压力测试，同时支持跨集群计算与高可用，为阿里巴巴未来多年的大数据发展奠定了坚实的技术基础。 5K项目完成技术突破后，新的压力接踵而来。业务快速发展导致数据规模也急剧膨胀，如何统一管理数据、统一保证数据安全、具备统一开放能力等问题成为数据平台思考的核心。 为此，阿里巴巴内部启动了一个比较有名的项目，将所有业务部门数据都同步到统一的大数据平台，统一进行管理。这个项目经历了两年，涉及阿里巴巴所有事业部，这个过程中，还逐渐推进通用数据平台能力产品化并具备金融级平台的能力。 从当时来看，阿里巴巴建设数据平台的过程是全面统一数据的过程，也是中国第一个超大规模数据中台建设和迁移的过程。

阶段三：数据中台支撑业务可持续发展

2015年到2018年，阿里巴巴数据中台方法论开始确立，拉开了数据中台建设的大幕。2015年，阿里巴巴集团宣布启动“中台战略”后，开始构建符合DT时代的更灵活的“大中台，小前台”组织机制和业务机制。阿里巴巴每个运营小二都可以基于数据制定覆盖用户生命周期的数据化运营策略，生意参谋开始探索数据业务化，更多的业务开始走向实时化。 但是，数据和计算的高速增长、资源的高速消耗带来了数据需要治理的问题。阿里巴巴的团队们开始思考怎么把数据中台的方法论落实到平台层，让数据平台支撑数据中台的建设。

数据是谁的? 谁来用? 谁来管控？数据质量由谁负责？· 平台团队和业务团队是两个团队，成本关系是什么？· 中台方法论，如何落地在数据平台落地？如何治理?· 数字增长很快，超过业务增长，怎么办？· 一张核心表12PB，每个部门复制1份，一年几千万就没了怎么办？· 我知道要删除一半的数据，但到底是哪一半？

这些问题的背后是数据的治理以及资产化，我们需要一套平台系统把方法论承载进来，真正形成统一化。在数据平台侧，DataWorks 构建大规模协同数据开发与治理的一站式能力，MaxCompute 支持服务器集群达到十万级，服务阿里集团全部BU、20多万员工的日常运营，一起支撑各项业务的可持续发展。

阶段四：云上数据中台与业务伴生

2018年之后，整个阿里巴巴数据平台系统已经很成熟，平台方和业务方达成一个非常好的配合状态。业务方认可数据平台的价值，业务部门与技术部门相伴相生，数据中台服务业务达到正循环，成为数据中台建设成功的一个标志。 阿里巴巴从2018年内部所有系统开始上云，到2021年实现了云上数据中台与业务伴生：双11核心系统100%上云，阿里巴巴全面云原生化；每秒53.8万笔，阿里云抗住全球最大流量洪峰；数据中台覆盖阿里集团所有BU；运营小二及时发现问题、分析问题，实现实时运营决策；短视频、直播等新业务继续涌现…… 可以看到，阿里巴巴的数据中台建设是成功的，并且仍在高速向前发展。

MaxCompute 智能数仓让双11成为日常，湖仓一体逐步成为下一代大数据平台架构，DataWorks建设的数据中台全面服务业务，支持集团内数百个数据应用，通过全链路数据治理，以低成本增长支持集团业务高速增长。

数据平台建设的四个核心挑战

一个数据中台建设的成功与否的核心指标，不是系统效率，不是平台效率，而是“数据效率”。 阿里巴巴主要从规模与弹性、数据的成本、数据的正确性与可维护性、数据利用率4个方面来衡量“数据效率”。

在这个核心指标下，方法论、组织、平台能力则是数据中台成功的核心三要素。那么，数据平台要想建设好，背后究竟有哪些方法，建设过程中有哪些难点需要注意？背后要做的工作其实非常多，本次仅从面向业务的4个切面做介绍，暂未涉及存储、计算引擎等层面的挑战。

挑战一：数据资产管理体系

对于数据资产来说，首先要解决的一个问题是：什么叫企业的数据资产？阿里巴巴的每个BU都有一个自己事业部的数据资产全景图，我们通过一张图统管阿里巴巴99.9%计算数据资产，每个部门的存储计算成本将全部量化，直接展现在管理者的面前。 第二个问题：如何看资产？对于企业而言，资产难道就是一个个成本的数字吗？阿里巴巴通过数据资产的透视，让管理者知道我自己的数据来源于哪，服务给谁，谁又是我最好的合作伙伴，同时又可以满足数据流动审计的需求。 第三个问题：如何进行资产的规模化？新的业务合并/收购/创新，如何将这套资产体系快速地复制？在DataWorks等工具中提供数据中台建模工具，能够为数据中台建设提供规范化图纸，针对不同的业务域进行划分，进行智能建模，让新业务快速复用之前成熟的数据架构，达到资产规模化的能力。

挑战二：数据质量体系

对于数据质量来说，首先要先解决的一个问题是：事前质量如何定义？金融行业经常提到一个概念叫对账，阿里巴巴数据也要对账，针对超过千万级别数据表的对账问题，我们提了“质量规则”的概念。700多万质量规则，每天新增1万多条，人工要怎么配？阿里巴巴建设了37种规则模板，通过智能规则推荐匹配，采纳率达到75%。 第二个问题：事中质量如何执行？700多万条质量规则需要耗费大量计算资源怎么办？通过什么方式来降低成本？我们通过智能化技术建设了数据质量调度引擎、ETL引擎，数据变更后实时触发质量监控，采用优先级策略，进行空闲运行。 第三个问题：事后质量如何自动化？规则写死了，但数据是活的，遇到周期性波动和变化怎么办？我们在数据质量建设的时候融入很多人工智能的技术，通过机器学习方式学习数据生成的样子，能够对动态阈值进行智能预测，通过算法匹配周期性波动。

挑战三：数据安全体系

对于数据安全来说，要解决如何降低使用成本，提高易用性；如何覆盖数据全生命周期；如何做权限管控；如何数据脱敏，如何识别敏感行为进行数据溯源等问题，阿里巴巴内部沉淀了超过20项不同的安全治理规则，这些规则最终能够帮助平台在满足业务高速增长的情况下同时满足个人合规的要求。

挑战四：数据治理体系

当数据治理进入深水区，数据成本增速如何不超过业务增速；如何调动全员治理的积极性，培养成本意识，在阿里巴巴，数据治理是引擎、平台和人的互相配合，引擎对算力和成本极致追求，持续打破快速增长的数据计算与成本增长的线性关系，平台通过存储健康分、计算健康分成为集团各团队数据治理战役的核心指标，推动人做数据治理和管理，利用平台全链路工具，构建数据治理技术运营体系。通过这样的成本报表的方式把平台层的成本和价值展示清楚。 可以看出，在12年数据平台建设期间，阿里巴巴从数据的资产、质量、安全、治理等多个纬度沉淀出了数据中台产品化的能力。

作为中台底座，数据平台下一站走向何方

未来，作为中台的底座，数据中台将从数据智能到智能数据，“湖仓一体”满足架构灵活升级、“智能数仓”解决超大规模下的数据管理难题、“智能查询”极大降低数据分析门槛、AI的云原生化/规模化/标准化与普惠化让其成为大数据的终极出口，不断加速大数据与AI一体化的融合。

趋势一：一体两面的湖仓一体

作为下一代数据平台架构，湖仓一体满足复杂现状下架构的灵活升级。数据仓库主打企业级数据，处理更精细、更经济、更高效。企业可以建设自己的数据中台，无论是引擎优化，还是数据管理，有一整套方法论以及支撑的工具。但是进入门槛很高，成本又贵，还有使用门槛。数据湖是脱胎于开源体系的技术，进入门槛和成本较低，比较灵活，企业容易实现自建数据湖，只是数据统一存储之外，企业需要进一步做各种精细化管理，希望数据能治理，能管理，成本低，还可运维。 如何打通数据湖和数据仓库割裂的体系，架构上融合数据湖的灵活性以及数据仓库的企业级能力，阿里巴巴提出的湖仓一体架构，统一存储和元数据，打通数据体系，利用智能数仓技术针对不同的数据和义务，做自动分类存储和处理。

趋势二：数据仓库进入“自动驾驶”时代

超大规模数据带来管理难题，传统的“DBA模式”已经很难胜任。阿里巴巴有超过千万级别的表，很多核心数据开发工程师，一个人负责上万张表，没有办法做精细化的治理和建模，这样的系统不能随人的方式扩展，所以未来，越来越多的AI技术会融合进大数据系统，进入“自动驾驶”时代。

趋势三：所查即所得，基于自然语言的智能数据查询

阿里巴巴正在数据之上尝试构建一个超大规模的知识图谱，通过知识图谱的方式做数据到语义层的翻译，再通过NLP(自然语言处理)等技术跟用户做结合，形成一个桥梁。比如用户输入北京市互联网客户有哪些，就可以自动生成得到一份数据。阿里巴巴正试图把通过自然语言的智能查询在海量数据上用起来，规模化起来，让更多的非专业数据人员也可以独立完成数据分析工作。

趋势四：数据即智能，AI工程化的基础能力

数据需要智能的加速，AI是大数据的终极出口。我们知道，真正想把AI用起来是一个非常难的事情，从最初的数据兴起、数据提炼、模型训练、模型调优，再到模型部署和服务，整个链路非常长。如果我们有5万人可以直接使用数据，可能真正能用AI的人可能不超过5000人，那如何把AI技术随着数据赋能给业务方，这就是所谓的AI工程化。

最后总结一下，上述内容只是泛泛地提到了阿里数据中台底座建设的四个典型阶段，遇到的四大技术挑战，以及数据平台的四大技术趋势等话题，这些内容还不是阿里巴巴数据中台的全部。通过12年时间，阿里巴巴数据平台建设已经有了非常多的技术积累，这些平台能力也在不断推动数据中台向智能化进化，并且还会一直向前演进，服务阿里巴巴并输出给全社会。

原文链接

本文为阿里云原创内容，未经允许不得转载。