阿里云专家带你揭秘云计算数据底座——对象存储

Posted 2021-09-12 博文视点

云计算是新一代的IT 技术，也是数字化转型的新基础设施。有了云计算平台，大数据技术才得以迅猛发展。

怎样获取、存储、处理、应用数据，是一整套方法论，也要有一整套的工具。

对象存储因云而生，是面向各种计算应用的存储资源池，提供弹性的服务化能力。

随着各行业数字化的蓬勃发展和企业数字化的转型，数据迎来爆炸式增长，2020 年全球产生的数据预估是 59ZB，2025 年预计达到 175ZB。

尽管产生了大量的数据，但只有大约 10% 的数据被存储下来，大约只有 5% 的数据被分析过，低成本、易管理、易分析的存储需求驱动了对象存储的产生和发展。

1

为什么对象存储是云计算数据存储底座呢？
云计算从本质上就涉及两件事：

一是用分布式技术替代了集中化技术，取代了原有的小型机、大型机、集中式存储、集中式数据库等，这是互联网公司崛起带来的一个显著现象。分布式技术巨大地提升了运行效率，把IT 设施更加统一化和一致化，被产品化之后就成了如今的云计算；

二是云本身也发生了很大的变化，把所有计算资源整合成计算资源池，所有存储资源整合成存储资源池，通过数据在计算资源池和存储资源池之间流动产生价值。

对象存储提供简单易扩展的名字空间，它通过RESTful 接口提供了在任何时间、任何地点、任何互联网设备上进行上传和下载数据的能力。

通过分布式存储技术的加持，跨数据中心和跨地域的容错能力，对象存储具备低成本、高可靠和易扩展的优势。对象存储在合规性、安全性、管理、生态、数据湖等领域不断发展，满足业务的需求，促进业务的创新。

随着云计算的发展，对象存储已成为事实标准的云存储。自动驾驶汽车、智能手机、平板电脑、IoT 设备等可以通过移动网络便捷的通过互联网访问对象存储，公共云、混合云的计算服务器也可以通过专有网络 VPC访问对象存储。不同网络流入的数据都能存储在对象存储相同的资源池中，从而自然而然成为云计算的数据存储底座。

2

对象存储前世今生
1956 年IBM 发布350 Disk Storage Unit，它是第一代真正意义上的磁盘存储。它的体积约为2 个中等大小的冰箱，只能存放3.75 MB 数据。2020 年的20TB 硬盘容量是第一代硬盘的560 万倍，尺寸也只有普通人手掌大小。

尽管盘的技术在飞速发展，但它无法解决单块盘出现故障带来的数据丢失问题。为此业界引入了廉价磁盘冗余阵列（RAID）技术，并逐步演化为存储区域网络（SAN），提供高可靠、高可用、高性能的块存储。

块存储只能提供线性地址空间，本身不具备数据管理能力，无法直接存放一张图片、一首音乐、一段视频，需要在它之上格式化文件系统来满足。但文件系统不擅长数据共享，从而演进到网络附加存储（NAS），服务器通过挂载指定NAS的网络IP地址访问共享文件夹，实现数据的高效共享。

网络附加存储随着保存文件的不断增多，海量文件管理成为难题，对象存储技术诞生就是为了解决该问题，它通过桶和对象的平坦模式组织数据，实现横向海量扩展。

存储始终围绕着高可靠、高可用、高扩展、易用性等需求不断演进，对象存储是存储技术不断迭代、持续发展的结果，直至演化为云计算至关重要的基础产品服务。

在阿里云对象存储负责人罗庆超老师所写的《对象存储实战指南》一书中，深入浅出地将对象存储发展历史娓娓道来。

3

这是一本怎样的书
▊ 题目前沿，现有参考资料较少

对象存储 OSS成功对接了云计算上丰富的数据分析技术生态，在它不断发展过程中支撑了大量热门领域。

为“城市大脑”提供海量图片和视频的高可靠、易扩展 7 x 24 不间断存储。

在新冠早期支撑钉钉实现1周内10倍扩容，保障钉钉 3 亿用户远程办公。

奥运会体育视频利用对象存储的智能处理、高效分发让媒体转播更有效、成本更低。

对象存储 OSS 作为公共云的IaaS服务，为PaaS和SaaS提供基础的数据存储平台，支持各种前沿创新场景，为数据湖、混合云、移动网络5G、人工智能等新领域提供数据存储基石。

▊ 从实践中来，到实践中去

本书从对象存储 OSS的业务需求出发，从客户实际痛点提炼产品特性，深入学界和高校学者合作创新的架构原理和特性实现，再将领先的技术转化为代码实现的功能规格，同行业专家、客户一起应用到实际生产，推动行业数字化发展。

通过理论设计和产品实践的螺旋上升，让对象存储 OSS 实现 12 个 9 的高可靠和99.99%的高可用能力，达到业界领先。在整个过程中，也总结了一套入门使用、数据迁移、安全合规、数据保护、应用场景最佳实践的实战指南。

▊ 架构清晰，写作流畅

本书从分布式存储基础架构入手，结合技术原理和产品实践展开讨论，并从入门和使用维度深入介绍对象存储服务 OSS 的应用实战。

全书分为三篇：

第一篇，基础与原理；

第二篇，操作和使用；

第三篇，总结与展望。

4

本书主要内容

5

你可以收获什么
▊ 掌握存储发展历史

通过块存储、文件存储、对象存储的技术演进史，了解技术发展背后的问题驱动。

▊ 理解分布式系统技术原理

深入浅出的分析分布式领域的单点技术原理，特别是存储系统最关键的数据完整性。

▊ 实战对象存储OSS配置管理

实操入门上手、数据迁移、安全合规、数据保护以及应用场景最佳实践，助你成为使用云计算对象存储服务的合格管理员。

▊ 前瞻对象存储未来发展新趋势

介绍对象存储支持的业界新趋势，了解新赛道的场景需求、技术方案。

6

听听专家怎么说
本书为阿里云内部核心技术人员所著，从分布式存储基础架构入手，结合技术原理和产品实践展开讨论，并从入门和使用维度深入介绍对象存储的应用实战。阿里云对象存储的产品验证和客户场景最佳实践，具有重大的参考意义和示范效应。

——舒继武 清华大学教授，中国计算机学会信息存储技术专业委员会主任

“稳定安全高性能、普惠智能新存储”是阿里云存储的理念，不断优化服务质量、降低使用成本、提高客户易用性，让数据存取随处可得。本书通过最佳实践介绍如何更好地配置和使用对象存储，有助于读者了解对象存储并对数字时代创新有更加深入的认识。

——张建锋（行癫） 阿里云智能总裁

阿里的对象存储从早期的TFS系统演化至今，经受了大规模业务的考验，已经是世界上较为成熟的产品之一。本书介绍的对象存储基于盘古存储引擎实现，后者和存储产品结合已进行研发演进。

——蒋江伟（小邪） 阿里云高级研究员

本书结合阿里云十几年在分布式存储领域和对象存储领域的研发实践，理论结合实践阐述了对象存储领域的关键技术，深入地分析和总结了阿里云存储的实践和创新。

——吴结生 阿里云高级研究员

我对本书的评价是两个字：严谨，本书兼具教科书的架构感和工具书的实用性。本书给大家展示的是数千PB 数据下的大规模实践。

——陈绪 阿里云技术战略总监

7

作者简介

罗庆超
阿里巴巴资深技术专家，阿里云对象存储负责人，在企业存储和云存储领域有丰富的技术与产品经验。

曾就职于世界500强以及知名跨国公司的存储团队，负责过高端存储阵列的数据路径架构设计和开发，作为海量存储首席架构师负责文件存储、对象存储以及下一代分布式云存储的架构设计和实现，同时在灾备以及数据管理领域亦有多年开发和运维经验。

带领技术研发团队，多次在大规模商业项目中成功落地。毕业于电子科技大学计算机系统架构专业，并获得硕士学位，在相关技术研究领域，支持并参与多本行业专业书籍的编写工作，被授予包括块存储、文件存储、对象存储、数据湖等方向的20多项发明专利，技术成果成功应用到产品创新迭代。

▼

如果想要更多地了解对象存储的历史由来、技术细节、实战操作和未来展望，欢迎阅读《对象存储实战指南》一书。