盘古开源：“大内存”时代即将到来，颠覆性的存储模式

Posted 2022-10-21 盘古开源

相信“大数据”这个词许多人都已经耳熟能详了，它通常被集中用于解决数学、科学和医学中的大问题，对于高性能计算尤其如此。我们生活在这样一个数据时代，在人工智能、机器学习、物联网和大数据分析的驱动下，越来越多的数据被创造出来，数据量级越来越大，信息存储的速度也愈发逼近极限。可当今的存储系统却无法满足实时数据收集和分析的容量和性能要求，对于数据量的问题，我们还能通过堆砌机器来解决，1台不够就100台，100台不够就上1000台。但数据存储的传输速度却很难通过物理介质来得到显著的提升。

为此，以内存（DRAM）为核心的系统基于其高速存储的特性，开始快速地在市场崭露头角。不过可惜的是，虽然它的存储速度比起闪存快千倍，但它的价格更高、数据密度更低，同时安全性方面还存在易失性。

当传输过程中，一旦出现断电或者其他故障，宝贵的实时数据将丢失，这就导致它无法保证长久使用。而找到能够完成长久保存的存储介质就成为了行业里所有厂商都想要攻克的一个关键点。

随着英特尔和美光在四年前宣布的3DXPoint技术，它为持久内存的诞生奠定了基础，人们也向“大内存时代”也正式迈出了第一步。

“大内存时代”到来，它意味着什么？

相较于“大数据”，“大内存”一词对大多数人来说可能有些陌生，但现如今，它对于呈指数上涨的庞大数据来说是必要的。实际上“大内存”是MemVerge公司提出的一个概念，关乎到一个即将到来的计算新时代。

想要了解大内存，首先要理解计算机的体系架构。简而言之，数据在计算机内的存储是分等级的，经常用的数据被放在比较贵的内存里，不经常用的数据则被放在硬盘、SSD 等更便宜的硬件设备里（这些设备被专业人士统称为“闪存”，与“内存”对应）。原因很简单，无非是让计算更具性价比。

内存贵，是因为它存取速度快，适合放在靠近CPU的位置，供CPU读写经常使用的数据。但内存（DRAM）存在断电易失性，所以不能作为永久的数据储存硬件。而闪存虽然存取速度慢，但它价格便宜，且能很长时间地保存数据。

因此，适合存放不经常用到的数据。当CPU想要访问闪存中的数据时，闪存把数据交给内存，内存再交给CPU。

大内存的源头就是持久内存（PMEM），通过持久内存制造的硬件能够很好地融合内存及闪存的优点，低延迟快速存取、断电不易失，且相较于内存而言储存同样大小的数据价格更低。这样一来，PMEM就能做到既提升计算的性能，也支持更具效益的存储。

而“大内存时代”实际上指的就是在未来的存储架构中，持久内存（PMEM）也许将会逐渐替代传统内存（DRAM），并挤压闪存的存在价值。

在未来，或许所有的应用程序将运行在大内存之上，而闪存存储则会被很少用到。

大内存技术的应用

英特尔是PMEM方面的先行者，它们早在20年前就开始实验，并基于后来研发出的3DX Point的存储架构，在年推出了他们首款PMEM产品-傲腾。当然，英特尔并非孤独的尝鲜者，除英特尔外，美光、海力士等其他硬件公司也在大内存领域加紧了布局。虽然出于竞争条款限制或研发周期的原因，目前市场上只有英特尔一个玩家，但预计2年后的PMEM市场将会迎来一轮爆发。

MemVerge的软件就是服务于这一爆发趋势的。更精确地说，MemVerge提供的是针对PMem数据中心的企业级解决方案，让现有的软件更好地运行在即将来到的新的内存架构之上。对于企业来说，尝试新技术的动力往往源于实际业务中的痛点，在大内存这样一个新的架构上更是如此。MemVerge的客户中，有一家位于华尔街的投资银行最为典型。

每日股市盘中，这家投资银行以平均每秒五万笔交易的频率进行股票买卖，这些交易数据需要被实时地分发到两百多个账户。这些账户有些是交易相关，比如对冲基金、银行、其他交易员，有些是系统相关，比如化管理、风险评估等。

在投行的这项业务中，系统延迟影响的是真金白银的得失，因此在降低延迟这件事情上，他们不遗余力。在傲腾出现之前，银行系统内有一个非常成熟的解决方案，名为Pub/Sub（发布/订阅），通过SSD结合传统网络的解决方案，延迟在几百微秒的量级。

而MemVerge为这家银行构建了傲腾加RDMA的解决方案，配合Memory Machine的软件技术，能够将延迟降低至3微秒左右。

另外，在近年来大热的 AI 领域，大内存也能发挥作用。MemVerge的CEO范承工介绍，在深度学习的模型训练中，当模型的大小大于内存的大小时，AI模型的训练速度会被数据的传输速度掣肘。影视动画、游戏等行业同理，也会遇到这样的问题，大内存的应用就能够有效解决这些难题。

总之，像内存介质这样普通消费者看不见的技术正在不断演进。在这一领域中，颠覆性创新的出现，往往伴随着的就是新一轮浪潮。就像智能移动设备的发展给移动互联网提供了硬件方面的支持，AI的广泛应用得益于对冯·诺依曼架构瓶颈的突破，PMem介质内存带来的惊喜还未被揭开，这其中隐藏的机会也正等待被开启。