云原生存储：美好的新世界

Posted 2021-05-23 存储加速器

传统上，设计企业存储系统的方法一直是连接到企业网络或驻留在SAN上的设备的方法。这曾经与计算方法相对应，在计算方法中，应用程序驻留在专用（虚拟或物理）服务器上。

云计算改变了我们对计算基础架构的看法。如何构建特定的服务器并不重要。计算元件连接在一起的方式以及将它们的总功率组合在一起以创建一个一致，灵活，可扩展的计算系统的方式具有更大的意义。由于这个原因，我们已经看到了更多的智力能量投入到业务流程基础架构（例如Kubernetes）的设计中。此外，大型构件在云环境中并不常见，在云环境中，更细粒度的元素提供了更大的灵活性和可伸缩性控制。

在设计云存储系统时，类似的方法也适用。与其使用孤立的粗粒度设备，不如使用分散在云中的云原生资源，并结合其功能和功能，以创建企业级的云原生存储系统。为了实现云环境的全部好处，应围绕与基于设备的系统中使用的原则不同的一组原则设计云存储。

新范式，新挑战

存储带来了一系列计算和网络基础架构无需应对的挑战。

数十年来，传统的存储系统已使用专用组件进行设计，例如电池备份的写缓冲区，启用多路径的存储介质，硬件辅助的RAID和专用背板或交换基础结构。这些组件虽然对提供企业级的性能和可靠性至关重要，但很少使用，并且不能轻松地集成到云中。

另一方面，放弃性能和可靠性是不可接受的选择。真正的企业级云存储系统必须在不牺牲可靠性和性能的情况下放弃此类专用硬件组件。

打破常规思考问题

在应对上述挑战的同时，云存储系统设计可以从云环境的某些属性中受益。当处理要存储的数据时，不再局限于盒子内的资源。云使我们能够根据需要使用其弹性计算和内存资源。未浪费的资源不会浪费；它们可以用于其他（非存储）任务。

每个事务消耗的资源也可能比设备中通常消耗的资源更多，只要这能带来一些好处，例如更好的性能，更好的数据管理或更好的规模经济。

在基于设备的系统中，通过手工定制数据路径和缓存来实现成本和性能的优化，从而从包装盒中可用的给定（固定）资源中获得最佳的性能范围。相反，云系统需要不同的方法。资源不固定；相反，它们具有弹性，可以根据需要扩展或缩小。

性能需要一种新方法

尽管给定事务的等待时间受网络和媒体物理特性的限制，但是IOP（每秒的输入/输出操作）和带宽几乎可以无限扩展。应注意不要限制此可伸缩性。鉴于此，成本/性能优化的理想方法是减少实现给定工作量所需的资源。

在云规模上，数据缓存效率极低，并且带来的收益有限（如果有的话）。而是应使用任何可用的缓存资源来缓存元数据。在这里，云的分布式本质要求某种形式的分布式可伸缩元数据缓存。

利用云资源可以使真正的云存储系统在数据摄取方面做更多的工作（将新数据添加到系统中时）。从长远来看，这节省了以后需要扫描数据以执行诸如重复数据删除之类的任务的工作量，从而减少了总工作量。云环境中多个内核的可用性允许并行执行某些提取任务，从而减少了延迟。

在云环境中，水平缩放是自然的。基于无锁设计的云存储可以实现完美的可扩展性，并且尽可能采用无同步的数据结构来实现大规模并行，高度并发的操作。

存储管理和数据管理的新方法

云计算可自动执行许多控制计算资源的管理任务。同样，真正的云存储应自动执行存储资源管理。

理想情况下，管理员应该能够为应用程序指定所需的SLA和Qos，数据所需的表示形式以及与安全性相关的设置（ACL，加密等）。

基于这些，系统应该能够自动管理资源以满足要求。

数据的管理方式也必须更改。云存储系统处理大型数据池。更低级的是使用这些池，以使数据不依赖于应用程序使用的前端访问方法。鉴于此，主存储和辅助存储之间的传统分隔变得多余。

当池中的数据可用于任何应用程序时，采用任何表示形式，系统都会根据QoS设置自动确定数据的物理位置（或存储层）。冗余，灾难恢复和数据移动性均由系统自动处理；主存储和辅助存储仅成为单个系统中的不同层。

这就消除了创建不必要的数据集副本的需要，就像复制数据管理系统通常那样。无需重复属性和要求；数据存储和数据管理现在可以存在于同一框架中。

进行数据访问的方式不同

Cloud IT拥有各种应用程序，其中许多应用程序可能需要不同的数据访问方法（块/文件/对象等）。根据访问方法（例如NAS）对系统进行分类，会在数据池之间创建人为的，不必要的边界，从而破坏了云的两个主要目标：规模经济和灵活性。

为了避免这种情况，真正的云系统应该能够以多种形式呈现数据。这可以通过使用智能数据结构来实现，该结构抽象数据并以与访问方法无关的方式呈现数据。

为了一方面利用云环境的许多好处，另一方面克服云所带来的挑战，云存储系统必须脱离传统存储所使用的原则和准则。一个经过精心设计的云原生存储系统应该能够提供完整的企业级性能和功能集，而不会放弃云带来的好处。

参考链接：https://www.datanami.com/2021/05/20/cloud-storage-a-brave-new-world/