阿里云高级总监谈超大规模超高性能分布式快存储系统

Posted 2021-01-18

摘要： 10月27日下午，2018中国计算机大会上举办了主题“新型硬件环境下大数据处理技术”的技术论坛，一起探讨新型硬件带来的变化。论坛上，阿里云高级总监马涛针对超大规模超高性能分布式块存储系统ESSD进行了报告分析。

新型硬件（如NVRAM、RDMA、GPU/TPU等）及其构建的异构复杂环境，与既有硬件环境的巨大差异，导致传统的算法、数据结构甚至是涉及原则和经验法则等难以为继，对计算智能与大数据处理带来新的挑战和机遇。

10月27日下午，2018中国计算机大会上举办了主题“新型硬件环境下大数据处理技术”的技术论坛，一起探讨新型硬件带来的变化。论坛上，阿里云高级总监马涛针对超大规模超高性能分布式块存储系统ESSD进行了报告分析。

专家简介：

马涛，阿里云高级总监，在IBM、ORACLE有多年的操作系统以及企业级存储的研发经验，2010年加入阿里巴巴集团淘宝核心系统部，负责淘宝底层操作系统的设计和研发工作。2014年转入阿里云，负责阿里云弹性计算存储相关产品的研发工作。

在报告中，马涛指出面对企业上云实现数字化转型以及新硬件架构层出不穷，现有存储产品已无法满足业务的需求，亟需新一代的超大规模、超高性能分布式快存储（ESSD）提升系统的业务能力，目前ESSD的性能已将单块云盘性能提升到100万IOPS、100微秒延迟、4000MB吞吐量的全新高度。

随后，马涛介绍了ESSD系统的设计和实现，展示了阿里云在软硬一体协同优化方面的探索，基于NVMe SDD和3D Xpoint新一代存储介质，采用了全用户态协议栈，通过用户态Polling模式驱动程序架构如SPDK、DPDK等，让ESSD达到释放数百万IOPS的能力，完成计算机体系结构的全面调优，满足超低延迟、超高性能和超大规模的设计要求。

最后，马涛对块存储的未来发展提出了一些新的思考和方向，包括如何应对数据中心内部的网络问题、如何解决高性能存储的资源隔离和软硬一体化、REDIS的教训、传统块存储产品如何使用、如何和CLOUD NATIVE更好的配合等。