大数据数据仓库—概念

Posted 2021-04-24 大数据和云计算技术

大数据经过反复炒作之后，慢慢的降温下来。大家不再大谈几个v了，落地到企业会发现，大部分场景还是传统的数据仓库的替换。今天梳理下数据仓库的使用场景，以及需要的技术。

1，先谈下数据仓库准确的概念是什么？

数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。

数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。

2，大数据技术相比传统的数据仓库有什么优势？

搞来搞去，又回到了传统的数据仓库吗？事实上，大部分企业的应用传统数据仓库支持就非常好。

相比传统的数据仓库，大数据技术在几个方面有优势：1）支持非结构化数据，传统数据仓库，基于关系理论构建，只支持结构化数据。尤其在互联网行业，非结构化数据是主数据。 2）扩展性上。对于小于100T的结构化数据处理时，往往会发现MPP架构的数据仓库反而性能更高。但是数据仓库有非常明显的扩展瓶颈，目前已知的，最大生产数据仓库节点数据大概是几百个节点。而大数据平台几千台一个集群比比皆是。3）和新的分析方法和算法的结合上。传统数据仓库，还停留在统计，钻取这些传统的BI分析方法。大数据技术衍生出非常多的交互式，BI工具等。

相比传统数据仓库，大数据也有很多劣势：1）小数量下面，比传统的mpp差。大数据量下面，不能满足交互式分析秒级响应的需求。2）对SQL对支持不充分等。所以业界有不少厂商在做这方面的探索，如cloudera的impala，星环的Inceptor，阿里的ads。

本文先介绍数据仓库的基本概念，下一篇介绍大数据数据仓库的应用场景。