揭秘阿里云EB级大数据计算引擎MaxCompute

Posted 2021-01-25

日前，全球权威咨询与服务机构Forrester发布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告。这是Forrester Wave首次发布关于云数仓解决方案（Cloud Data Warehouse，简称CDW）的测评。报告对云数仓的当前产品功能、产品路线和发展策略、市场表现等几个方面进行全面的评估，在产品能力排行榜中，阿里云力压微软排行第7。

Forrester测评报告对CDW核心功能的评估主要从解决方案的多样性、数据集成、性能和弹性扩展、安全性等方面进行，Forrester给出的评价是：阿里云（MaxCompute+DataWorks+ADB）在广泛的基础设施之上提供了一个可靠的数据分析平台，能够满足客户实时和EB规模的数据处理需求。此前媒体已经报道了DataWorks的相关细节，今天我们就来聊聊MaxCompute。

EB级数据处理能力

首先来看一组数据。

2018年双11，MaxCompute单日数据处理超过600PB，平稳支撑电商混布单元在线流量洪峰12万笔/s交易，稳定承载45%导购流量，为双11交易峰值提供了有力保障和平滑支撑。

根据官方介绍，MaxCompute是一种快速、完全托管的数据仓库解决方案，通俗地理解就是大型分布式数据计算，所以大规模计算是最基础的能力。MaxCompute已经是阿里巴巴的主力计算平台，支持了整个阿里巴巴集团内部99%的大数据存储和95%的计算，数据规模已达到EB级，上文提到的双11场景就很好地体现了规模这能力。

当然，它和传统 Hadoop 相比还有其它的优势。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

整体来说有如下特点：

● MaxCompute在计算引擎、分布式存储上做了优化，在Sort Benchmark中MaxCompute消耗的时间和成本都是最低，保证了最优性价比。

● 服务器资源、集群规模都是动态的弹性拓展，无需用户关心。

● 支持SQL、MR、迭代计算、内存计算、图计算等计算模型。

经历了大规模应用实践

据了解，目前MaxCompute正在为全球企业提供大数据计算能力。阿里巴巴通用计算平台负责人关涛曾表示，“在公共云上，MaxCompute每年以250%的用户量和计算量在增长，并在全球十几个国家和地区部署服务，为当地企业提供计算力。”

例如，城市大脑的底层就在使用MaxCompute做存储和大数据计算，支持了杭州、澳门、吉隆坡等城市进行智能化升级。这其中，由MaxCompute、PAI、流计算服务组成的计算平台发挥了巨大的价值。

不仅如此，MaxCompute在各大行业已经有广泛应用：

天气预测有着广泛的需求群体，每天几亿次的天气查询需求和近几十亿次的广告请求， MaxCompute则很好地应对了这一挑战。MaxCompute帮助墨迹天气实现了对每天上亿用户的天气查询需求的快速响应和几十亿次广告请求的精准投放。 互联网保险行业，MaxCompute帮助众安实现精准的用户画像分析，助力企业为数亿用户提供数十亿的保单服务，提升企业效率的同时，为亿万用户送去健康与安全。

总而言之，只要有海量数据处理需求的场景，MaxCompute都能通过阿里云为用户提供快速、稳定的计算能力。

结语

从Forrester的本次研究报告可以看出，大数据技术已经进入CDW阶段，在广泛的基础设施之上提供一个可靠的数据分析平台，满足客户实时和大规模数据计算成为核心需求。

MaxCompute作为大数据计算平台，不只是单一引擎，更是面向企业的完整服务。在过去10年中，MaxCompute稳定支撑阿里集团所有数据业务的同时，早已将强大的数据能力普惠给广泛的云上企业。基于MaxCompute构建稳定、安全、可扩展及与应用系统高效交互的数据中台，已成为众多行业下客户数字转型的首选方案。