说说数仓(2) - 传统数仓与互联网数仓

Posted 2023-02-26

参考技术A 数仓总结目录：
说说数仓(1) - 什么是数仓
说说数仓(2) - 传统数仓与互联网数仓
说说数仓(3) - 数仓架构
说说数仓(4) - 指标字典
说说数仓(5)-最重要的维度之日期维度
说说数仓(6)-关于命名规范
说说数仓(7)-浅谈数据治理
说说数仓(8)-关于增量
说说数仓(9)-上下游约定
说说数仓(10)-任务注释

刚看到几篇文章，写得非常好，感觉是最近看到关于数仓关于数据平台最好的文章了，这里简单总结下自己觉得好的地方。
原文链接：
我所经历的大数据平台发展史（一）：非互联网时代 • 上篇
我所经历的大数据平台发展史（二）：非互联网时代 • 下篇
我所经历的大数据平台发展史（三）：互联网时代• 上篇
我所经历的大数据平台发展史（四）：互联网时代• 下篇

上面几篇文章总结的真的非常好，大家一定要去看看，对于传统数仓和互联网数仓，我也算是都接触过，有点儿感触。以前在一家物流企业做BI项目，当时我们项目定位是：公司级的商业智能分析项目，是高度重视的，所有部门都需要紧密配合。当时项目调研立项就花了半年时间，一期上线花了1年左右的时间，参与人员有100多人。还有很多的IBM顾问，对于当时还是菜鸟的我，真心学到了不少东西。
这算是传统数仓了，当时我们使用的是EMC的一体机，使用GreenPlum搭建数仓，分层架构的话，是ODS+DM+AS，ETL和报表用的是IBM的Datastage和Cognos，在当时来说算是很好的了，不管是硬件还是软件还是人员配备，都很可以了。
这时候，我们可以引入一张上面的图：

的确是这样，当时我们是商业智能分析组，组内呢，又会分为模型组、ETL组、报表组、前端组、业务支撑组，这个图描述的非常好。
然而，到了互联网公司，耗费这么多人力、物力的项目是根本不可能的，一个数据团队，几十人差不多了，人员配备也不会那么全，可能并没有非常专业的ETL开发和数仓建模人员，一般来看，是这样的：

好了，先简单说用户群这一点，我们后面再继续说。