大数据架构演进历史小记

Posted 杨鑫newlfe

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据架构演进历史小记相关的知识,希望对你有一定的参考价值。

简述

    从古人开始记录事件,到电子化时代的数据产生,都是从时间/事件/主题/维度等角度进行基础积累多种形态的数据存储需求。经典的几种架构可以拆分出来离线、实时、流批一体、OLAP、OLTP、分析、计算等经典模块。我们在解决了ETL/ELT问题之后,又增加了对数据进行分析的需求,同时基于业务数据特征和算法的特点,可以再次对数据进行深层次的分析和挖掘。达到业务数据价值最大化的目的。那么怎么快速的理解他们呢?
 

 

 
架构演进

  • 第一阶段:数据文件
  • (古代)我们常见的账本、石子、物品等都可以用来进行数据的标记,来展示或者记录某一种状态或者事件。
 
  • 第二阶段:数据库
  • 从1960年代数据库系统技术被发明,开始系统的记录部分重要数据,数据库通过功能迭代,支持增、删、改、查,实现对数据做简单的分析。与此同时业务系统架构 + 存储架构完美实现CS、BS服务各种需

以上是关于大数据架构演进历史小记的主要内容,如果未能解决你的问题,请参考以下文章

OPPO大数据离线计算平台架构演进

OPPO大数据离线计算平台架构演进

美团大数据平台架构实践

计算机软件架构发展历史

大数据学习:HDFS架构演进之路

FunData — 电竞大数据系统架构演进