如何构建高效灵活扩展面向大数据的实时分析平台？

Posted 2021-07-20 steven_zhangxue

随着互联网、移动互联网、物联网和各种智能终端的快速发展，各种数据无时无刻地生成，新数据的产生成大爆炸趋势，如此大数据量的实时查询和分析能力已然成为企业报表分析系统的重要考量指标。

一、现状分析

大数据的到来，给目前传统的分析系统带来了巨大挑战：

1、数据越来越多，超越了 I/O 极限。

众所周知，I/O 能力一直都是传统数据仓库系统的瓶颈。大数据的到来，更加重了 I/O 瓶颈问题。

2、分析查询性能低下。

查询时间以数小时甚至数天计，有的分析算法甚至根本无法运行。

3、传统分析系统都是基于数据概要的统计分析，无法满足深度挖掘分析要求。

尚待挖掘的有价值的业务规律，往往隐藏在数据细节中。传统基于数据概要的分析方法，阻碍了新的业务规律的发现，大大降低了业务数据的分析价值。

4、传统分析系统采用的批处理方式进行加载和汇总，无法满足时效性要求。

需要分析的数据量越来越多，要汇总的业务也越来越多，留给数据批量加载和汇总的处理时间窗口越来越短，甚至根本无法完成。同时，批量加载方式使得数据的时效性得不到保障，重要的商业机会稍纵即逝。

二、方案概述

基于以上背景，数商云通过对用户的数据进行采集、挖掘、展现、帮助企业商家建立自己的大数据分析平台，它采用全新的无共享大规模并行架构（MPP）、真正列式数据库技术以及超强报表分析引擎，完美解决了传统数据库和分析系统在实时分析查询性能慢和扩展性不足等方面的问题。

平台具有强大的功能，可迅速、可靠地管理大量数据，为您提供实时的业务智能以进行先进的大数据分析，从而将您的所有数据转变为效益。在执行查询方面，实时分析平台的速度比传统数据库快 50 到 1000 倍，同时消耗的成本和占用的硬件仅是原来的几分之一。

作为全新架构的实时分析平台，我们有很多的创新，最为突出特点包括：

1、列式存储和计算

基于Vertica数据库，通过列式计算和强大的主动数据压缩，大幅降低成本高昂的磁盘 I/O（主要是传统的以行为存储单位的 SQL 数据库使用），执行查询的速度可提升 50 到 1000 倍，存储成本最高削减 90%。

2、无共享大规模并行处理

基于数据库无共享的 MPP 架构，支持在线添加数量不限的工业标准服务器，可根据需求任意扩展解决方案。

3、实时秒级分析

通过Vertica内存与磁盘混合存储架构，支持数据实时装载分析，再结合BI敏捷分析引擎以及全能分析引擎，实现百亿数据秒级实时响应，给用户带来极致产品体验，解决用户TB甚至PB级超大数据量分析难题。

三、应用场景：

1、大数据实时分析

面向大数据的实时分析平台，基于Vertica无共享MPP架构和列式存储能力，可完美解决用户大数据量情况下数据实时分析问题，用户可实时捕捉数据运行情况，如电商运营大屏等，帮助用户实时决策，运营情况了然于胸。

2、报表查询秒级响应

面向大数据的实时分析平台，对于大数据量的明细数据、汇总数据，都能达到查询分析秒级响应，帮助各类报表用户解决报表慢的难题。

3、拖拽分析秒级响应

面向大数据的实时分析平台，满足业务人员面向百亿级明细数据，实现高性能敏捷拖拽分析场景，数据加载后业务人员自助探索体验可达到秒级响应，提升用户操作和分析体验。

4、可扩展，符合SQL的时间序列数据库

现如今大部分数据都是时间序列数据，无论是在查看物联网数据，金融服务数据还是来自IT基础架构的数据，都可能会定期创建数据。面向大数据的实时分析平台具有一整套内置分析功能，包括时间序列，地理空间，模式匹配等。这些功能可以帮助实现不同类型的数据分析。

四、应用价值

1、性价比高，支持大规模扩展

支持全平台部署：支持大规模节点扩展，性价比高于传统数据库。

2、高处理性能

能够处理TB级大数据量，支撑大规模批量计算/高并发查询/极端复杂的自主分析和查询

3、高频数据加载和实时分析

支持秒级数据实时加载和秒级甚至亚秒级的数据查询响应能力

---

<本文由数商云•云朵匠原创，商业转载请联系作者获得授权，非商业转载请标明：数商云原创>

作者：云朵匠 | 数商云(微信ID：shushangyun_com)