云原生数据库的幕后英雄—浅谈分布式数据库的计算和存储分离

Posted 2021-07-21 分布式云

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了云原生数据库的幕后英雄—浅谈分布式数据库的计算和存储分离相关的知识，希望对你有一定的参考价值。

摘

要

分布式数据库替代传统商业数据库是近年最热门和最具争议的话题。理论上没有什么数据库不能被替代，现实却往往是代价大到难以承受。怎样才能更好的降低替代带来的代价呢？或许”存算分离“能够解决这个问题。

计算和存储分离是行业巨头共同的选择

阿里副总裁，数据库产品事业部总裁李飞飞在《云原生分布式数据库与数据仓库系统点亮数据上云之路》中说：“传统的冯诺依曼架构下计算和存储是紧密耦合的，可将多个服务器通过分布式协议和处理的方式连成一个系统，但是服务器和服务器之间、节点和节点之间，分布式事务的协调、分布式查询的优化，尤其要保证强一致性、强ACID的特性保证的时候，具有非常多的挑战……云原生的架构，本质上底下是分布式共享存储，上面是分布式共享计算池，中间来做计算存储解耦，这样可以非常好地提供弹性高可用的能力，做到分布式技术集中式部署，对应用透明。”

阿里的云原生数据库重新回到提升数据库Scale Up扩展能力的路上，来解决分布式事务，弹性扩展的问题。在必要时可以结合分布式分库分表模式进行Scale Out扩展。

华为云数据库专家也表示“高可用、易用易维、高扩展、高性能、与大数据相辅相成的云数据库，尤其是基于云场景架构设计的云原生分布式数据库，计算与存储分离、能充分发挥最新硬件性能、利用 AI 和 ML(深度学习) 等功能成发展趋势。

何为计算、存储、分离

计算——提供计算能力的不可变基础设施

存算分离中计算的变化比较小，也更容易理解，不管是一开始的虚拟机，还是现在最常用的容器，计算部分都是为数据库提供算力，其最基本的资源是CPU和内存。一些“计算”还会用服务器本地盘作为缓存，但并不包括持久化数据。这也使“计算”不断接近云原生中对不可变基础设施的要求。

存储——能力不断增强的数据持久化资源池

相对计算，存储的能力，形态则变化较大。但不管是对象存储，HDFS存储，KV存储，文件存储，还是像AWS那样提供了部分数据库存储引擎功能的“计算存储”，不管是自研的还是购买第三方存储，是云服务还是线下存储，存算分离中的存储始终承担着数据持久化的工作。这一点是理解存算分离的关键，也是存算分离的主要价值之一。

分离——下刀的位置因时而变

分离容易理解，但怎么切是有讲究的，它反映了需求，能力，甚至商业考量。如果想让存储多做点事，可以切得狠一点，像AWS Aurora把日志引擎都切给存储了，如果想通用一些，也可以像阿里PolarDB那样正常地切，以至于底层换个存储也能用。如果想封闭圈子自己玩，就切给自己家存储，并且切完了还会连着一点点(封闭接口)，公有云基本就是这种做法，如果不想自己研发存储，就切给通用存储，如果想卖存储，就按通用接口来切，华为，浪潮的大数据存储，腾讯的HDFS存储都是这个套路，这些都来自商业的考量。

技术拐点：分离正当时

每一次网络技术的进步都会对我们系统架构产生重大影响，大量数据相互间同步，既要低延时又要高带宽，如果没有网络技术的进步无法实现，然而每个短板被填补以后都会带来IT架构的变革，FaceBook在其阐述温存储大数据研发的原因中提出了“技术拐点论”非常准确的说明了当下为什么可以实现存算分离的技术原因：传输协议和带宽能力已不再是IO瓶颈

总结

云原生分布式数据库的高速发展，必然带来计算、存储的分离，“存算分离”是当前网络技术发展和社会经济进步的时代产物，是最适合当前时代发展需求的一种架构。数据库的存算分离是存储、云计算、数据库的技术的综合，对于数据库使用者和IT规划师，可以关注这一技术方向和其中的技术实现，来解决面临的问题。