OLAP 架构?
Posted
技术标签:
【中文标题】OLAP 架构?【英文标题】:OLAP architecture? 【发布时间】:2021-07-23 17:36:46 【问题描述】:我正在学习数据仓库的架构和设计,并且有一个关于 OLAP 系统的问题。因此,据我了解,从历史上看(当计算能力和内存不是商品时),数据将被获取并存储在数据仓库中。对于每个分析/BI 任务,都需要配置一个 OLAP 系统,并且来自仓库的查询结果将存储在复杂且需要高维护的单个立方体中。快进到现代云计算时代,数据存储在优化的 OLAP 多维数据集、数据集市或 MPP 解决方案(列式存储)中。
几个问题...
OLAP 多维数据集是虚拟的/临时的,还是占用服务器上的物理空间?存储在数据集市或列式存储中的数据是否占用与数据仓库中相同的空间?如果是,我认为现在这不是问题,因为内存空间随时可用。
我对此的理解有误吗?请随时纠正我,就像我说的,我只是在学习。
【问题讨论】:
【参考方案1】:OLAP 多维数据集是虚拟的/临时的,还是占用服务器上的物理空间? ->OLAP 多维数据集确实占用服务器上的物理空间。阅读有关处理多维数据集的信息。这会提取源数据并以专有格式存储。
存储在数据集市或列式存储中的数据是否占用与数据仓库中相同的空间? -> 我认为,与面向行的数据库相比,列式存储确实减少了占用的空间
【讨论】:
以上是关于OLAP 架构?的主要内容,如果未能解决你的问题,请参考以下文章
大数据 OLAP ClickHouse 引擎ClickHouse 系统架构和存储引擎实现原理 : 为什么 ClickHouse 这么快? Why is ClickHouse so fast?