阿里云ODPS升级为一体化大数据平台 满足用户多元化数据计算需求

Posted 2022-12-01 CSDN云计算

11月3日，2022云栖大会上，阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清表示，为满足用户多元化数据计算需求，阿里云ODPS升级为一体化大数据平台。

升级后的ODPS支持大规模批量计算、实时分析等服务，提供实时流式计算、机器学习等多种计算能力，可同时调度超10万台以上服务器规模进行并行计算。ODPS也是目前中国唯一自研、应用最为广泛的一体化大数据平台。

 

ODPS升级：存储、调度、元数据一体化融合 

随着数据技术和数据应用的发展，催生了多元计算需求。贾扬清介绍，例如交通领域，需要实时数据计算，来做城市大脑里面人流车流的优化；科研方面，需要AI算法辅助传统物理化学生物研究创新；保险领域，需要大量数据聚合来进行更准确的风险精算。 ODPS实现了存储、调度、元数据管理上的一体化架构融合，支撑上述各类数据的高效处理。

自2009年诞生以来，ODPS从突破单集群规模到通过多租户隔离打造金融级云上安全，为突破业界难攻的技术难点而不断升级架构。2017年，ODPS将大规模批处理引擎MaxCompute以独立产品形式对外提供服务。2019年，应对数据实时交互分析的需求，交互式计算引擎Hologres正式上线。

在刚刚公布的TPC-H 30000GB基准测试中，ODPS-Hologres刷新世界纪录，分数超过2786万分，领先第二名23%。ODPS-MaxCompute则在TPCx-BB 100TB标准测试中，连续6年保持性能和性价比第一。

大数据和AI走向融合   小鹏汽车AI训练提速170倍

“大数据平台和AI平台正在走向融合”，贾扬清表示，不论是大模型生产应用、AI for Science、还是传统的搜推广服务，典型的AI应用场景背后，都离不开数据的高效流转和分析。

 

例如小鹏汽车与阿里云合作，建设了大数据AI一体化平台，实现从海量路采数据的传输存储分析、到AI模型训练推理的全流程提效。此外，基于软硬件协同优化技术，小鹏汽车自动驾驶核心模型训练提速近170倍，训练性能较开源方案提升30%。          

自发布大数据+AI一体化产品体系“阿里灵杰”以来，阿里云不断推动数据智能在产业中广泛应用。机器学习平台PAI持续夯实AI工程能力，实现深度学习框架和计算硬件的多样化兼容，以弹性且稳定的云原生AI平台服务，支撑自动驾驶、生命科学、金融等领域创新。此外，达摩院基于阿里灵杰，推出模型开放生态 ModelScope 和 AI 开放服务平台 OpenMind，进一步推动AI普惠。