16 年云存储历程，亚马逊云科技如何应对数据存储挑战

Posted 2022-09-03 CSDN资讯

随着千行万业的数字化转型，数据量暴涨，数据获得了空前的关注度。作为存储计算网络的三大 IT 基础设施之一，数据存储一直占据 IT 支出的重要部分。不过，在疫情和经济下行的趋势与压力之下，如何通过创新的 IT 技术去降本增效，成为企业与技术团队必须要面对的问题。

提到灵活的云上资源与存储，业界必然会想到亚马逊云科技的王牌级存储产品 Amazon S3。从 2006 年推出 S3 到现在的 16 年间，亚马逊云科技一直在存储技术上投入研发，比如仅 2021 一年，就发布了 130 多项存储领域的新服务和功能特性。亚马逊云科技对于存储成本和性能的优化，为业界提供了重要的参考范本。

连续 16 年，让存储成本持续下降，怎么做到？

在存储技术上，想要提升数据存储和调用性能，降低存储介质成本，通常利用各类存储介质特点，依据数据重要级去分级存储，这一直是存储技术中重要的一项。亚马逊云科技的王牌存储产品 Amazon S3 在 16 年间价格降低 7 倍（以 S3 标准频繁访问层 Amazon S3 Standard Frequent Access 为例），2021 年底，Amazon S3 的标准非频繁访问层和单区非频繁访问层的存储价格又降低了 31%！

压缩存储成本空间的底气，是亚马逊云科技分层存储技术背后的设计逻辑。

数据量爆发，庞杂的数据其实可细分为各种类型，例如实时交易平台数据、业务监控数据、机器学习推理所涉及数据，以及社交媒体产生数据、音视频与图像数据，另外还要容灾备份、开发测试数据以及历史归档数据等等。亚马逊云科技为这些数据定义了“数据的温度”，依据数据调用的频率，分为热数据、温数据、冷数据和冻数据。

图：海量数据和多种数据访问需求

2018 年亚马逊云科技就推出了 Amazon S3 智能分层功能，面向未知访问模式的海量数据。Amazon S3 可以自动为数据进行冷热分层，实现至多 68%的成本节省。

另外，亚马逊云科技数据分层存储已经拓展到文件存储 Amazon EFS。Amazon EFS 提供四种存储等级，可节省高达 72%的存储成本。

现在，Amazon S3 智能分层已经涵盖了 Amazon S3 家族的几乎所有存储类别，实现数据全生命周期的智能化存储与使用。用户可以将 Amazon S3 智能分层作为默认的存储层级，用以构建包括数据湖、机器学习等各种云端应用。

存储走向场景细分，亚马逊云科技积累存储全线产品

说到存储的应用场景，数字化深入各行业，也催生了多种多样的业务场景。依据云计算的发展进程，我们可以将业务场景分为云上原生的场景，以及传统的企业业务场景。

如网站托管、数据湖、数字营销、云相册、音视频分享、电商平台、社交媒体等应用，这些云原生现代化应用，客户可以使用云原生 Serverless 文件存储 Amazon EFS，获得简单、无管理成本、海量弹性扩展、高度集成、自动优化的体验。

另外，例如 ERP/CRM、数据库、自动驾驶、生命科学、混合云、模拟仿真、气象分析、EDA、视频渲染等更为复杂多样化的企业级应用，亚马逊云科技提出“专门构建”的思路去提供云端存储产品和服务。

针对企业级工作负载，亚马逊云科技提供了 Amazon EBS IO2 BX 和 Amazon FSx 系列服务。Amazon EBS IO2 BX 是为运行在线下数据中心 SAN 存储上的应用而设计。Amazon FSx 家族是为各类企业应用而专门构建的共享文件存储。FsX = File X System，详细来说，Amazon FSx 家族已经有以下多个存储产品：

• Amazon FSx for Windows File Server，2018 年 11 月推出，支持 Windows Server 工作负载。

• 全新一代 Amazon FSx for Lustre，2021 年 11 月发布，面向 HPC 计算密集型工作负载，帮助客户快速完成高性能计算，如基因测序，新药研发，自动驾驶模拟仿真，半导体设计等任务。

（1）Amazon FSx for Lustre 与当前一代相比，提供 5 倍的吞吐量（每 TB 高达 1GB/秒)。

（2）Amazon FSx for Lustre 支持与 S3 的数据更新双向同步，在 S3 或 Lustre 任一侧更新数据，都可以在另外一侧实现自动快速同步。

• Amazon FSx for OpenZFS，2021 年 11 月发布，面向大数据分析 Linux 工作负载。针对那些以往把数据放在 ZFS 或者其它 Linux 文件服务器、而不希望改变架构的云迁移客户。通过它，可以让 ZFS 或其他基于 Linux 的文件服务器迁移到亚马逊云科技时不需要改变应用和管理数据的方式，提供高达 1 百万 IOPS，而延迟仅有几百微秒，非常适合运行像机器学习和音视频实时处理这类数据密集型工作负载。

• Amazon FSx for NetApp ONTAP，2021 年 9 月发布，方便企业业务无缝迁移上云。使客户能够在亚马逊云科技上启动、运行和扩展全面托管的 NetApp ONTAP 文件存储服务，无需修改其应用、工具、流程或工作流，即可将其在 NAS 设备上运行的应用迁移至亚马逊云科技。Amazon FSx for NetApp ONTAP 让客户可使用其已经熟悉的 NAS 工作流来部署、管理应用和数据，同时尽享亚马逊云科技带来的敏捷性、可扩展性和安全性，以及与亚马逊云科技其它服务之间的无缝集成。

通过对场景的细分与对应存储需求的研究，亚马逊云科技已经覆盖了从块存储、对象存储，到文件存储、备份、容灾，以及数据传输和边缘处理的全线存储产品和服务，堪称云巨头亚马逊云科技在存储技术领域的“全家桶”式产品矩阵。

强大产品矩阵，覆盖场景全面，不是一句简单的宣传口号。举个例子，亚马逊云科技存储产品“全家桶”所覆盖的场景，甚至已经拓展到了地球以外的国际空间站中。今年亚马逊云科技已经向国际空间站部署了Amazon Snowcone服务，设备内含有 固态硬盘，为国际空间站端到端的数据下载和分析事件从 20 小时缩短到 20 分钟。

这应该算是极端的一种边缘场景了，毕竟和地球上的场景比起来，国际空间站的边缘场景中，硬件要尽一切可能轻，经受发射时极端震动和重力，以及在微重力下安全连接主航天器电力、冷却和网络系统。

图：在国际空间站“服役”的 Amazon Snowcone

从存储技术层面看，这款 Amazon Snowcone 是专为运行边缘计算工作负载而设计，所有工作负载均受多层加密保护。在本地收集和处理数据后，通常会将设备运回亚马逊云科技数据中心，以便处理后的数据可以存储在云中并进一步处理。或者，也可以使用 Amazon DataSync 将数据从 Snowcone 设备复制回亚马逊云科技数据中心。

除了极端的边缘场景，以能源电力场景下的金风慧能案例为例。

总结

每一代科学技术迭代和变革的背后，都是因为技术切实提升人们生产生活效率，这也是 IT 吞噬一切，并重塑千行万业的终极价值。在不确定因素和多变的市场环境中，如何持续降低成本、提升效率，是每一位技术人都该去思考的问题。在技术实践和积累中，亚马逊云科技在存储领域的产品构建思路，给业界提供了很好的参考样本，值得参考和借鉴。

当然，亚马逊云科技丰富的存储产品和服务矩阵，以及最佳实践、应用案例，还有很多很多。2022年9月22日-23日，亚马逊云科技将在上海举办重要的技术盛会——2022亚马逊云科技中国峰会。点击或扫描图中二维码获取更多大会信息，更多的技术创新，等你来发现。