数据分析与挖掘

Posted 2021-03-03 cherish-cxh

　　用于数据分析的 OLAP 系统的主要特点就是数据量非常大，并发访问不多，但每次访问所需要检索的数据量都比较多，而且数据访问相对较为集中，没有什么比较明显的活跃数据概念。

　　OLAP 即联机分析处理，是数据仓库的核心部心，所谓数据仓库是对于大量已经由 OLTP 形成的数据的一种分析型的数据库，用于处理商业智能、决策支持等重要的决策信息；数据仓库是在数据库应用到一定程序之后而对历史数据的加工与分析基于 OLAP 系统的各种特点和相应的分析，针对 OLAP 系统硬件优化的大致策略如下：

　　数据量非常大，所以磁盘存储系统的单位容量需要尽量大一些；

　　单次访问数据量较大，而且访问数据比较集中，那么对 IO 系统的性能要求是需要有尽可能大的每秒 IO 吞吐量，所以应该选用每秒吞吐量尽可能大的磁盘；

　　虽然 IO 性能要求也比较高，但是并发请求较少，所以 CPU 处理能力较难成为性能瓶颈，所以 CPU 处理能力没有太苛刻的要求；

　　虽然每次请求的访问量很大，但是执行过程中的数据大都不会返回给客户端，最终返回给客户端的数据量都较小，所以和客户端交互的网络设备要求并不是太高；

　　此外，由于 OLAP 系统由于其每次运算过程较长，可以很好的并行化，所以一般的 OLAP系统都是由多台主机构成的一个集群，而集群中主机与主机之间的数据交互量一般来说都是非常大的，所以在集群中主机之间的网络设备要求很高。