我眼中的数据仓库——2

Posted MrWang的订阅号

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了我眼中的数据仓库——2相关的知识,希望对你有一定的参考价值。

2、实习之路,不明觉厉的DB2与数据仓库

随后就开始了正式的实习生涯,也遇到了我工作这些年里,整个团队气氛最好的(每个人都是在齐心协力想着把事情最好,互帮互助),队友最牛逼的团队(团队里基本都是从事电信行业六七年以上的人,都是经过各种积累沉淀),在这个团队里我是最小的,也一直受到各种各样的照顾。也是因为在这个团队成长,才为自己以后打下一个比较好的基础吧。

在亚信这边其实最初的时候压根就不懂什么叫数据仓库,刚去的时候给我一张亚信电信事业部的数据仓库架构图,但是那时候根本不懂;总体就是分为:ods、ds、dm、dt、st这些层;当时不懂为什么这样分和这些是什么意义。重庆亚信的数据仓库应该是我这几年来经历过最好的数据仓库,也是分层最齐备和清晰的数据仓库。PS:那边的调度系统也是我用过最好的调度系统,。

对于这种功能比较齐备的数据仓库,个人的观点利弊各半吧。

利:从应用者角度来说,一个功能齐全,架构比较清晰的数据仓库,对于数据的应用就会变得更简单。而对于学习者来说,接触一个比较成熟的完整的解决方案,对于自己知识体系和眼界的培养很有好处。起码学好这一套规范的流程和结构,熟悉了以后可以拿出去套模版。这个也是为什么早期互联网公司喜欢从传统行业挖人,现在的互联网公司喜欢从一线互联网公司挖人。最初数据仓库也只有银行、金融、电信、保险等这些行业才能搭建的起来,因为只有这些行业才有足够大量的数据,只有有足够大量的数据,那么数据才能实现它的价值。

弊:对一个已经有一套知识体系的开发者来说,他能做到就少很多。因为一个完整的数据仓库,对于底层的架构模型更改的可能性很小,那么就没法把这个流程闭环,起码对于个人进阶会有一定的阻碍影响。还有对于了解底层的业务会有一定的影响,所有的业务理解和结构了解都是基于上层的表,那么对于底层数据流向,数据整体架构的了解就差多了,属于流水化工作了。

不过整体来说,现在国内真正做数据仓库的,数据仓库真正做得好的,少,很少,非常少。

-----------------------------------下一篇写番外篇,写DB2的一些使用心得和个人感觉的利弊


以上是关于我眼中的数据仓库——2的主要内容,如果未能解决你的问题,请参考以下文章

笔记数据仓库与数据挖掘数据仓库与联机分析处理

数据仓库简介

离线数仓:什么是数据仓库

Greenplum 实时数据仓库实践——数据仓库简介

Greenplum 实时数据仓库实践——数据仓库简介

Greenplum 实时数据仓库实践——数据仓库设计基础