数据架构系列-03数据仓库大数据平台数据中台... 我不太认同《DataFun数据智能知识地图》中的定义

Posted 2023-04-02 zhulangfly

---

关注DataFunTalk有2年多了，DataFun确实像创始人王大川讲的那样，践行选择、努力和利他原则，专注于大数据、人工智能技术应用的分享与交流，秉承着开源开放的精神，免费的共享了很多有营养的行业实践专业知识，对于这样有情怀的团队真心希望他们越办越好。2022年底DataFun发布《DataFun数据智能知识地图》，一看就做得很用心，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块，拆解了数据流转全流程。其中，就包含数据仓库、大数据平台、数据中台的定义，但是我确实不太认同这样的定义，引用原文如下：

数据中台 = 大数据平台 + 数据仓库 + 数据应用和服务

• 大数据平台：位于最底层，支持海量数据存储，并支持实时流数据计算、离线批量计算、数据挖掘、交互式查询等场景的一套基础平台设施
• 数据仓库：是基于大数据平台的存储引擎、存储格式（Hive、Delta Lake等），基于维度建模方法建设的结构化数据集合，目的是为所有类型的数据支持提供数据环境
• 数据中台：是基于大数据平台提供的底层平台能力、以及数仓提供的结构化数据环境，搭建的面向业务的统一的数据应用服务

真的定义对了吗

乍一看就感觉不太对，怎么成了“洋葱模型”，大数据平台成了最里层。难道我们几年前称呼的大数据平台就没有了数据应用服务，也没有了面向主题的数据集合。我们还是找几篇以前的论文看看，看看那个时代我们对这些名词是怎样的认知。

下图是1995年发表在今日电子期刊的文章《“数据仓库”讲座》，从操作型系统抽取数据构建数据仓库，从而支撑分析型数据库；再看看2011年《架构大数据 :挑战 、现状与展望》一个典型的数据仓库架构，包括数据源、数据存储与管理、OLAP服务、前端展示。从90年代不就是和我们现在数据中台朴素的架构认知一样吗。

我们再看看大数据平台，2013年系统仿真学报收稿《大数据平台技术综述》，文章给出了大数据平台体系架构，如果换成“数据中台架构”这个词，你也挑不出大毛病吧，讲真，那时候真的没有数据中台这个词，人家不是抄袭。

我们回归到数据中台，在2019年发表在期刊数据与计算发展前沿中的《数据中台技术相关进展及发展趋势》，给出了数据中台整体架构图，这也是我认为定义的比较全面比较好的数据中台架构，要是把这个词换成大数据平台架构图也无可厚非，谁叫你出道晚，难免抄人家。

因此，数据中台 = 大数据平台 + 数据仓库 + 数据应用和服务，是不对的，从上世纪90年代，我们对于数据仓库认知就是从数据抽取、汇聚、加工、整合、应用等等，每层都没少啊，千万不要掩耳盗铃，自以为是。

到底什么区别

我认为，从数据仓库到大数据平台再到数据中台不是包含和被包含的问题，而是由浅入深，有简入细的问题。这很好理解，90年代的数据仓库建设肯定也有数据治理范畴，这个工作我们潜移默化的在做，只不过没有提升到一个理论高度，没有形成一个专门的学科而已。随着技术的发展、数据量的增加、业务的需求、行业的重视，我们逐渐把工作做细，也就用新的名词来称呼。

数据仓库 VS 大数据平台

1. 大数据平台存储计算能力更强：2005年前后Hadoop技术的出现，让数据存储能力更高，不但存储结构化、而且半结构化和非结构的数据来而不拒，同时计算能力更加强大。
2. 大数据平台数据接入能力更强大：这源于强大的存储计算能力，以前数据仓库存储价值较高的数据，现在也可以存储低价值数据，如日志、传感器数据、埋点数据等等。
3. 大数据平台更加强调开放和时效：数据来源多了，需要的人肯定也多了起来，相比与传统数仓，要把这些数据服务出去，各种SDK、API出来了，为了提供更加实时的数据，实时计算也出来了，Lambda、Kappa架构出来了。
4. 大数据平台展示能力更丰富：移动互联网、前端技术的发展，让我们对数据的触达更多样，更多酷炫的数据展示。

大数据平台 VS 数据中台

1. 数据中台更加强调数据治理，资产化思维：这源于把数据当做生产要素，把数据当做资产运营，没有标准、质量与安全，谈何数据增值，变现。
2. 数据中台更加强调数据为业务赋能：我们要的更多，不单单BI，我们更要让数据为业务赋能，让数据参与到业务场景中，发挥数据价值，也催生出新的职业DataBP。
3. 数据中台更加强调智能：这源于机器数据、人工智能的发展。结合业务、依托数据，我们构建算法模型，把算法能力封装成API服务出去，这不就是ChatGPT吗。
4. 数据中台更加强调经济易用：以前大数据平台成本太高了，构建集群、搭建各种组件，还要运维，现在基于云计算，各种现成的工具开箱即用，比如现在火得数仓一体数据库组件。

未来应该还会出现新的名词，这一新名词肯定在老的名词中有迹可循，我们在肯定新名词背后工作的同时，看看前人走过的路，会有更清醒的认知。

参考文章

1. 苏萌,贾喜顺,杜晓梦,高体伟.数据中台技术相关进展及发展趋势[J].数据与计算发展前沿,2019,1(05):116-126.
2. 宫夏屹,李伯虎,柴旭东等.大数据平台技术综述[J].系统仿真学报,2014,26(03):489-496.DOI:10.16182/j.cnki.joss.2014.03.039.
3. Doug Lowe,王澜,李朝虎.“数据仓库”讲座[J].今日电子,1995(11):73-76+89.
4. 王珊,王会举,覃雄派,周烜.架构大数据:挑战、现状与展望[J].计算机学报,2011,34(10):1741-1752.

从数据仓库到大数据平台再到数据中台（内附13张架构图）

现在，数据的新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑…企业层面的有数字化转型、互联网经济，数字经济、数字平台… 平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱…技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…

今天结合“数据中台”，以作者从事数仓行业多年的实战经验来看，数仓—大数据平台—数据中台的区别和本质联系，希望能拨云见雾！(13张架构图在文末，自取)

中台也好，数据中台也好，一直缺乏一个标准的定义，仅从字面上理解，数据中台是解决如何用好数据的问题，既然是概念，数据中台也被赋予了很多扩大的外延，也上升到了数据的采集、计算、存储、加工和数据治理等方面，这就和传统的大数据平台在功能和作用上产生了很大的重叠；而大数据平台又是从数据仓库发展起来的。那到底这三者的关系是怎么样的呢？

按照传统的定义，数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。从数据角度，数据仓库更适合传统的数据库，离线采集，数据一般为结构化的，每天处理数据量不易超过TB集，数据仓库一般在数十T到几百T以内，数据仓库一般为满足内生的应用，满足内部决策支持分析需求，当然随着数据仓库数据采集的要求越来越高，数据仓库本身也在不断的改进，从单机的ETL到集群的ETL，从传统的小机+DB，向PC服务器+分布式DB拓展，数据治理也逐渐增强，从元数据管理到数据质量管理，再到数据运维管控和数据安全管控，但其实数据仓库给企业留下的最大财富是企业数据模型，这些模型随着前端业务系统的发展变化，不断变革，不断追加，不断丰富和完善，即使系统不再了，也可以在短期内快速重建起来，这也是大数据平台能够快速建设起来的一个重要原因。

大数据平台则是指以处理海量数据存储、计算及流数据实时计算等场景为主的一套基础设施，包括了统一的数据采集中心、数据计算和存储中心、数据治理中心、运维管控中心、开放共享中心和应用中心。大数据平台之所以能够建设起来，不外乎内因和外因，外因是棱镜门事件带来的去IOE要求、外部硬件的变革和分布式开源技术的涌现；内因是非结构化、实时数据和海量数据的计算和存储压力，企业也寄希望从大数据平台除了满足对内需求，也能够实现一定的对外收益。

大数据平台的建设出发点是节约投资降低成本，但实际上无论从硬件投资还是从软件开发上都远远超过数据仓库的建设，大量的硬件和各种开源技术的组合，增加了研发的难度、调测部署的周期、运维的复杂度，人力上的投入已是最初的几倍；还有很多技术上的困难也非一朝一夕能够突破，但无论如何大数据平台还是建设起来了，人员能力也在不断成长。大数据平台解决了海量数据、实时数据的计算和存储，也基于原来的企业数据模型实现了重构，但也面临着一系列的问题。

首先是数据的应用问题，无论是数据仓库还是大数据平台，里面包含了接口层数据、存储层数据、轻度汇总层、重度汇总层、模型层数据、报表层数据等等，各种各样的表有成千上万，这些表有的是中间处理过程，有些是一次性的报表，不同表之间的数据一致性和口径也会不同，而且不同的表不同的字段对数据安全要求级别也不同，此外还要考虑多租户的资源安全管理，如何让内部开发者快速获取所需的数据资产目录，如何阅读相关数据的来龙去脉，如何快速的实现开发，这些在大数据平台建设初期没有考虑周全；另外一个问题是对外应用，随着大数据平台的应用建设，每一个对外应用都采用单一的数据库加单一应用建设模式，独立考虑网络安全、数据安全、共享安全，逐渐又走向了烟囱似的开发道路。

数据仓库实现了企业数据模型的构建，大数据平台解决了海量、实时数据的计算和存储问题，数据中台要解决什么呢？数据是如何安全的、快速的、最小权限的、且能够溯源地被探测和快速应用的问题。

数据中台不应该被过度的承载平台的计算、存储、加工任务，而是应该放在解决企业逻辑模型的搭建和存储、数据标准的建立、数据目录的梳理、数据安全的界定、数据资产的开放，知识图谱的构建，通过一系列工具、组织、流程、规范，实现数据前台和后台的连接，突破数据局限，为企业提供更灵活、高效、低成本的数据分析挖掘服务，避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。

厚平台，大中台，小前台，没有基础厚实笨重的大数据平台，是不可能构建数据能力强大、功能强大的数据中台的。没有大数据中台，要迅速搭建小快灵的小前台也只是理想化的。

我想这才是数据中台的初衷。

后文是对数据仓库、大数据平台、数据中台的一些总结性的架构材料，也是对自己这些年来的一些汇总和思考吧，看懂了前面的文字，后面的各种架构图也就无需赘述了。

1、数据仓库硬件架构

2、数据仓库功能架构

3、数据仓库技术架构

4、第一个Hadoop平台硬件架构

主要是为了解决海量离线数据的计算和存储，在Hadoop集群中实现明细数据、汇总数据存储，在mysql中实现报表数据存储。

5、第一个流式处理平台硬件架构

主要是为了解决海量实时数据的流式采集和计算，在Hadoop集群中实现明细数据、汇总数据存储，在mysql中实现报表数据存储；并通过实时事件处理集群实现流式事件的匹配。

6、大数据平台系统规划

对于大数据平台各种软硬件各种组件的规划

7、大数据平台系统定位

8、大数据平台逻辑部署架构

9、大数据平台功能视图

10、大数据平台数据流向

11、大数据平台对内硬件架构

12、大数据平台整体硬件架构

13、数据中台整体架构

源： python与大数据分析

专注企业数据分析应用和数字化转型。关注公众号“商业智能研究”，回复“资料”，整理了6G的数仓、数据中台、数据治理、企业数据化管理案例，供免费领！