剑指云原生数据库 2.0，阿里云发布全新一站式敏捷数据仓库解决方案

Posted 2021-10-19 CSDN云计算

作为基础软件“三驾马车”之一的数据库，其发展历程可追溯到60年前：从上世纪50年代的层次数据库、网状数据库，70年代的关系型数据库，再到90年代的关系型数据库、数据仓库、PC单机数据库和 2000 年的开源数据库，Oracle等国际巨头始终占领数据库领域的垄断地位。2010 年，伴随云计算发展和云数据库的崛起，以阿里云为代表的中国厂商在国际上崭露头角。

据 Gartner 发布的《2020 年度全球数据库魔力象限报告》显示，阿里云进入全球数据库领导者象限，这是中国数据库 40 年来首次进入全球顶级数据库行列。

随着云原生时代的来临，阿里巴巴瞄准机遇，十多年前开始抢先布局云数据库：

2009 年，率先提出升级传统商业数据库，用开源的 mysql 替代 Oracle。
2010 年，基于 MySQL 着手打造开源数据库 AliSQL，并对淘宝商品库进行改造。
2013 年 7 月，淘宝最后一个 Oracle 数据库下线。
2016 年，阿里巴巴开始自研首个分布式数据库。
2017 年，推出国内首个云原生关系型数据库 PolarDB，计算能力最高可扩展至 1000 核以上，性能比 MySQL 高 6 倍。
2019年6月， 阿里云进入全球云数据库市场份额前三、亚太市场第一
2019 年 7月 ，云原生数据仓库 AnalyticDB 登顶 TPC-DS，成全球最快实时数仓。
2020 年 8 月，阿里云数据库市场份额跃居国内第一，首次超过传统数据库。
2020年11月， 阿里云首次进入Gartner全球数据库领导者象限，这也是中国数据库40年来首次迈入全球顶级数据库行列

阿里云一直深耕云数据库领域：在打造出云原生关系型数据库 PolarDB、云原生分布式数据库 PolarDB-X、云原生数据仓库 AnalyticDB（ADB）、云原生多模数据库Lindorm、企业级云数据库服务RDS后，今年阿里云率先提出“云原生数据库 2.0”理念，持续加码云数据库，推出一站式数据管理平台 DMS。

紧接着，在 9 月 26 日的阿里云数据库创新上云峰会暨第 3 届数据库性能挑战赛决赛颁奖典礼上，阿里云又推出全新一站式敏捷数据仓库解决方案，该方案结合一站式数据管理平台 DMS 及云原生数据仓库AnalyticDB，实现了库仓一体的技术架构，提供在线数据实时入仓、T+1 周期性快照、按需建仓等能力，数据延时低至秒级，持续赋能业务在线化，令企业在线数据释放最大价值。

打破数字化转型阵痛，一站式在线管理平台DMS释放数据价值

当下，数据成为土地、劳动力、资本、资本家才能后的第五生产要素，在社会的重要性日益凸显。然而在企业数据价值化的过程中，阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城观察到，开发者和企业遇到一些难题：

1、数据孤岛，管理复杂度：数据库种类繁多、最佳实践各不相同。 设计开发及维护门槛高， 容易出现质量、性能及稳定性问题。
2、加工复杂，“让数据用起来”成为难题：异构数据集成，数据加工架构复杂， 依赖专业的数据开发团队，链路诊断、运维门槛极高。
3、数据治理缺乏，安全问题凸出：零安全管控的数据开发应用环境，难以满足众多安全合规诉求。

阿里云资深技术专家、数据库产品事业部生态工具部负责人陈长城

对此，阿里云推出一站式数据管理平台 DMS 对企业全数据资产统一进行管理。DMS 无缝联动所有数据库，实现统一数据资产、数据库设计与开发、对数据集成与开发、存储、传输、加工、计算、管理，覆盖数据生产到应用的全生命周期。具备安全管理、容灾多活、数据库DevSecOps、T+1 实时归档、实时数仓构建、业务报表生产等业务应用，通过极致的数据传输与加工能力，打通 TP、AP、NoSQL 等数据库，打破数据孤岛让数据可直接用于分析，真正实现库仓一体和在离线一体化的处理和分析能力，为企业提供了低门槛的应用解决方案。

AnalyticDB，让数据分析向云原生+数据库大数据一体化加速演进

另外，随着企业数字化程度加深，数据在生产和处理上已发生质变，呈现以下趋势：一是数据规模呈爆炸性增长。据统计，2020 年全球数据规模达 40 ZB，预计 2025 年的数据规模是 2020 年的 4.3 倍，数据爆炸时代来临。二是数据生产和处理实时化的需求加剧，预计到 2025 年，实时数据占比达 30%，这将给数据库管理和计算带来挑战。三是数据生产和处理智能化需求。如今在海量数据中，非结构化数据占比达 80%，这将给传统针对结构化数据的关系型数据库带来巨大挑战，新一代非关系型数据库智能、实时在线化的需求越来越迫切。四是数据加速上云，预计到 2025 年数据存储云上规模达 49%。

阿里云研究员、数据库产品事业部OLAP产品部负责人占超群

与此同时，企业在处理数据时正面临数据一致性、分析实时性、系统复杂性、学习和运维成本增多等挑战。

对此，阿里云推出云原生数据仓库 AnalyticDB，帮助企业向云原生+数据库大数据一体化演进。AnalyticDB 采用存储计算分离+多副本架构，支持从 1 个节点到最大 5000 节点的实时按需弹性扩容，可实现 PB 级数据存储、查询秒级响应，使业务分析效率从天级提升到分钟级乃至秒级。AnalyticDB 有效解决在离线任务的融合处理、结构化和非结构化异构数据融合分析，以及大规模系统管理成本指数级增长等问题。

2019 年，在数据库与大数据权威评测机构 TPC 发布的面向复杂分析场景 TPC-DS 10TB 权威基准测试中，AnalyticDB 性能指标刷新世界纪录，荣登榜单第一名，成为全球最快实时数仓 。在 2020 年天猫全球狂欢季中，AnalyticDB 支持了超过130个业务方，每秒实时写入或更新高达 2.1 亿，实时处理数据规模为 7.7 万亿，每秒交互式分析请求高达 17 万，AnalyticDB 有效帮助双11大量商家和用户完成实时决策。

DMS+AnalyticDB 强强联合，打造全新一站式敏捷数据仓库解决方案

企业在打造数据仓库时，传统方式是基于T+1数据集成构建离线数仓，以支撑企业各项分析与服务。如此一来，不但会影响线上业务稳定性，难以支持企业的实时需求，且整个数据加工链路长，成本高，时间不可控，还有生产库密码泄露等安全隐患。

对此，结合上文提到的一站式数据管理平台DMS及云原生数据仓库AnalyticDB，阿里云推出一站式敏捷数据仓库解决方案，来支持业务数据实时入仓+增删改查、基于拉链表的T+1周期性快照等功能，充分满足企业应用场景对生产数据进行实时分析的需求，如：促销大屏、监控报表、精准营销、交互式运营分析等。

据悉，阿里云一站式敏捷数据仓库解决方案有如下4大核心优势，有效帮助企业降本增效：

1、对业务侧影响小，不会因为数据汇聚集中和实时加工影响业务侧正常运行，CPU、内存占用低于5%；
2、事务顺序和数据准确性有保障，且处理链路短，支持在线数据实时处理落仓，效率更高。数据传输效率100m/s，数据延时在10秒内；
3、支持复杂实时数据加工、计算逻辑；
4、低代码操作，能够大大降低实时数仓的构建难度，提升构建效率的同时，支撑企业数字化转型过程中的各类实时场景。

目前，阿里云一站式敏捷数据仓库解决方案已广泛应用于金融、数字政府、零售、泛互联网等行业，帮助企业建设数字化转型的基础底座。

结语

在不断打磨技术、丰富云原生数据库产品矩阵之余，阿里云还推出三大计划，助力产业向云原生数据库升级：2020年，阿里云发布“去 O 计划”，宣布致力帮助1000家企业“去O”，完成10000 套传统数据仓库上云。2020 年 8 月，阿里云推出“升舱计划”，助力金融、政务、电信等客户将传统数据仓库全面升级至云原生数据仓库，致力满足企业对数仓产品实时化、弹性扩展、高性价比及安全可控的诉求。今年 5 月，阿里云宣布开源云原生数据库能力，对外开放关系型数据库 PolarDB for PostgreSQL 的源代码，携手广大开发者共建云原生数据库2.0生态。

阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞

最后，谈及未来云原生数据库发展的核心目标，阿里巴巴集团副总裁、阿里云数据库产品事业部负责人李飞飞用了三个词：Any data（键值、文档、图、时序、空天），Any Scale（存计分离、线性扩展、全球高可用），Any Workload（事务处理与分析混合负载）。具体涵盖以下方向：

1、云原生+分布式
未来数据库云原生+分布式一定是标配，用云原生的方式构建数据库系统，资源池化，资源持有，分布式不是其中一个选项，而是必选项。

2、智能化
涵盖 AI4DB 和 DB4AI，利用AI、机器学习的技术使能数据库运维管控智能化，进行系统的监控、调度、参数调优和索引推荐等操作。

3、安全可信
随着《数据安全法》的出台，数据的安全可信已成为共识，我们需确保数据库的处理全链路过程中具备加密、安全，可信的能力，这是重要的发展趋势。

4、多模数据处理。面对物联网、车联网新场景产生的海量数据，如何对这些新场景打造的新型多模数据库非常重要。

5、一站式数据处理平台
企业可能采用多个数据处理引擎，但有了一站式数据处理平台，用户无需关心具体使用哪种类型的数据库，一站式数据管理平台可以让数据无缝流转，让开发者更便捷地访问和处理数据。

阿里云数据库始终以市场为导向，以产品为核心，以技术为基础。同时拥有庞大的客户群体，历经各行业实践验证，不断地贴近客户需求，深入理解他们的需求，这是技术演进最大的驱动力。

目前，阿里云服务十年以上的企业有近万家，云数据库产品和技术服务已广泛应用于国税总局、中国邮政、中国人寿、中国太保、中国南方航空、友邦保险等客户，并全面部署在核心系统之中，助力全社会数字化转型。