传统数据仓库架构与Hadoop的区别

Posted 2021-02-13 老白条

一，

下面一张图为传统架构和Hadoop的区别

主要讲以下横向扩展和扩展
横向扩展：（Mpp 是hash分布，具有20节点）添加新的设备和现有的设备一起提供负载能力。Hadoop中系统扩容时，系统平台增加新节点之后，系统自动在所有节点之间均衡数据。
纵向扩展：（oracle两个节点）向上扩展，指的是替换掉已经不能满足需求的硬件设备、采购更高性能的硬件设备，从而提升系统的负载能力。

二，Hadoop集群是一种专门为存储和分析海量非结构化数据而设计的特定类型的集群。本质上，它是一种计算集群，即将数据分析的工作分配到多个集群节点上，从而并行处理数据。
优点：

1、扩展能力(横向扩展)

Hadoop技术平台各组件均基于分布式储存和运算的概念，能可靠储存和处理海量数据(PB级)。在不保证低延时的前提下，可提供高吞吐量支持海量数据的运算。对传统数据仓库扩容成本高的限制，Hadoop平台具有运算性能线性扩展的性能，同时数据自动分布，不影响原有应用运行。

2、低成本

基于分布式储存和计算的特点，Hadoop平台对集群内单个节点的配置要求不高，集群性能主要由节点数和网络吞吐率判定。因此Hadoop可大规模部署于普通服务器上，对海量低价值数据的存储拥有极高性价比。

3、数据结构多样化

支持结构化，半结构化，非结构化的数据。

4、故障容错能力

当一个数据分片发送到某个节点进行分析时，该数据在集群其它节点上会有副本。通过这种方式，即使一个节点发生故障，该节点数据的额外拷贝仍存在于集群内的其它地方，这样数据仍可以进行分析处理。