活到老，学到老！各大厂数据库技术解决方案来了

Posted 2021-11-22 CSDN资讯

10月23-24日，第二届“长沙·中国1024程序员节”（1024.csdn.net）重磅来袭，其中，“数据库技术实践与未来展望”主题论坛，邀请了腾讯、阿里巴巴、字节跳动、PostgreSQL等大厂的专家，分享了分布式数据库、云原生数据库、开源数据库、图数据库等领域技术实践。为现场及线上的观众详细解读了数据库技术痛点解决方案、前沿技术实现，以及前沿趋势和发展机遇。

“数据库技术实践与未来展望”主题论坛出品人、腾讯数据库首席架构师李海翔表示，我们经常谈论一致性，但很多人又不明确一致性的含义。直接用数据异常的角度阐述数据一致性概念（重新定义一致性），而不是用可串行化的理论阐述数据一致性概念，形象且直接。

另外，许多人对事务的隔离级别定义也经常犯难，李海翔对此分享了他的方法论。他谈到，先对数据异常分类，然后在分类的基础上定义隔离级别，使得隔离级别定义：完整（基于全部数据异常）、有层次（基于数据异常分类）、打破传统对隔离级别的认知（传统观点，认为各种隔离级别会有不同性能）。

近年来，随着高速总线技术与网络设备的进一步演进，分离式数据中心（Disaggregated Data Center）极有可能发展为未来云机房的标准，因此，阿里巴巴设计了下一代的云数据库架构，以内存池化、多租户、热迁移、混合逻辑时钟等技术为基础，融合了云原生数据库、Serverless数据库和分布式数据库等多个领域的数据库技术，向用户提供更加简单透明的扩展体验。作为设计者，曹伟（鸣嵩）在演讲中发表了自己对未来云数据库的判断，他认为，未来三、五年，所有云厂商需要具备的能力： Pay-as-you-go。此外，下一个时代的云厂商数据架构中心是分离式的，用户所需要的每一个资源都分布在各个资源池中，然后组合在一起，形成整体高可用、高弹性的资源池。

同样来自中国数据库佼佼者的产品OceanBase，其产品负责人王南在演讲中谈到，数据量、并发量的快速增长，以及移动接入带来的业务全局化，需要用分布式来解决容量增长问题。尤其是企业在数字化转型中，需要平滑过渡。而从集中式到分布式对数据库带来的变化是，突破容量限制、按需扩展； 计算和存储分离；大规模集群运维管理；对应用透明和兼容。对于当前主流分布式事务解决方案，王南也列出三大类（事务的提交单位 & 数据块迁移单位不一致）：

1. CockroachDB，事务模型以行为单位，迁移的单位是Range；
2. OceanBase，事务模型以分区为单位，迁移的单位也是分区；
3. Spanner，事务模型以Paxos Group为单位，而迁移以Fragment为单位。

随着移动互联网的深入发展，数据实体之间的关联性越发凸显，Graph在解决关联性问题时有种种优势，也成为学术界和工业界关注的热点。但是从细分角度来讲，无论是图数据库还是图计算，都是工具，对于用户来说，需要的是解决问题，需要一个整体解决方案的平台。来自字节跳动的图数据与图计算平台负责人张帅以字节跳动的业务场景为例，分享了图数据库和图计算技术解决具体数据处理问题的方法论。

如今，信息化已经进入了云计算、大数据快速发展的时代，越来越多的业务在云端开展，这种情况下，“多云共存”成为新一代IT基础设施的存在形态，但不同的云平台其技术标准不一、实现方式各异，使得统一申请、使用、管理数据库变成了一件难事。人大金仓的工具与产品研发总监黄新著，对于数据库管理的关键一步——数据迁移发表了他的观点。他认为，实现数据迁移其实很简单，但面对海量数据，并行迁移的加速就比较困难了。需要稳定高效，且结合多线程、队列、异步任务等特性的技术架构来支撑，要考虑多线程的任务编排、任务调度以及迁移的策略，更重要的是考虑如何避免线程阻塞、如何重复利用线程资源，等等。

MOT（memory-optimized tables，内存优化表）是以内存为中心的行存储引擎，提供事务ACID保证，针对众核和大内存优化，可以提供非常高的交易型工作负载性能。云和恩墨MogDB数据库CTO张程伟认为，即使数据全在内存中，原有基于磁盘设计的软件栈也不能发挥出应有的性能。为了提供更好的性能，需要端到端的对数据库软件栈进行优化，以内存为中心设计数据库的各个模块。对此，张程伟就MOT中涉及的关键技术进行了介绍。

数据驱动正在深刻地改变整个世界，我们的业务数据、数据报表、数据指标越来越多，但我们分析数据的速度却越来越慢，报表构建的复杂度也越来越高。如何有效地分析这些海量数据，真正利用数据为业务创造价值？StarRocks CTO赵纯分享到：单表、多表极速分析需要极致的执行效率、代价最低的查询计划以及各种降低资源消耗的优化手段。可使用全面的向量化执行引擎、面向向量化的CBO、物化视图、Colocation、Global Runtime Fliter、全局字典等关键技术实现。

PostgreSQL是一专多长的全栈式数据库，在数据库领域拥有广泛用户，且评价良好，PostgreSQL中国区主席张文升在演讲中介绍了PostgreSQL扩展相关的生态，为现场及线上观众展现了PostgreSQL内核之外的世界，并介绍了基于PostgreSQL的分支、分叉、分布式、时序、流式数据库的解决方案。在演讲最后，张文升也透漏了PostgreSQL关键技术的演进趋势，为关注PG发展的广泛用户指引了方向。

本次1024程序员节由湖南省委网信办、湖南湘江新区管委会主办，长沙市委宣传部、长沙高新区管理委员会、长沙市委网信办、长沙市工业和信息化局、“科创中国”开源创新联合体和CSDN承办。除“数据库技术实践与未来展望”论坛外，还有一系列分论坛举办，包括先进计算与人工智能，工业互联网&智能制造背后的技术力量，智能汽车的黄金十年，PostgreSQL数据库人才与业务生态应用等。更有岳麓尖峰对话、2021技术英雄大会，共论数字经济新发展。

更多精彩直播与内容，欢迎扫码下方二维码或点击阅读原文进入1024程序员节官网观看回放。