阿里巴巴黄贵谈存储新硬件带来数据库的机遇

Posted 2021-01-18

摘要： 10月27日下午，2018中国计算机大会上举办了主题“存储软硬件之国产化挑战与机遇”的技术论坛，共同探讨存储软硬件栈上的关键系统与技术的国产化发展道路。论坛上，阿里数据库资深技术专家黄贵针对存储软硬件国产化进行了《存储新硬件给数据库自研带来的机会》的报告。

10月27日下午，2018中国计算机大会上举办了主题“存储软硬件之国产化挑战与机遇”的技术论坛，共同探讨存储软硬件栈上的关键系统与技术的国产化发展道路。论坛上，阿里数据库资深技术专家黄贵针对存储软硬件国产化进行了《存储新硬件给数据库自研带来的机会》的报告。

专家简介：

黄贵，阿里巴巴数据库事业部资深技术专家，近10年一直从事分布式存储、分布式数据库的设计与研发工作，经历过连续6年双11的数据库大考，见证了阿里从商业数据库到开源数据库再到自主研发分布式数据库的过程。目前的方向是打造全面兼容mysql生态，新一代跨地域高可用，高可扩展，高性能低成本分布式数据库X-DB。

首先，黄贵介绍了阿里巴巴随着业务迅猛增长而实现的数据库的进化，一直发展到目前已被广泛应用到阿里各项业务的异地多活，云化，分布式数据库X-DB。

其次，黄贵详述了阿里巴巴数据库面临的特殊挑战，以及为了应对这些挑战而做的设计，具体思路就是利用现代存储的多层次结构，根据业务访问数据特点，设计出一套分层的存储架构，结合了内存数据库和磁盘数据库技术，同时达成高性能和低成本。

最后，黄贵详述了数据库存储引擎X-Engine的设计思想，包括存储方式、应对超大并发事务的流水线事务处理模式、元数据索引结构、数据布局、数据访问加速、数据压缩等特性，同时指出其利用NVM引入新的存储层次，将存储层次分为冷数据、暖数据及热数据三类，三个层次采用Flash/HDD、NVM、DRAM不同存储类型，以应对不同数据特性。X-Engine结合大数据访问热点集中的特点，采用了基于数据访问频率区分冷热数据，并基于数据的冷热进行封层存储的架构，并在此架构上进行充分的优化以满足不断增长的需求。