re:Invent大会第十年，亚马逊云科技推出了哪些底层自研技术

Posted 2022-01-04 CSDN云计算

 

编辑 | 宋慧

出品 | CSDN云计算

头图 | 付费下载于视觉中国

一转眼， 亚马逊云科技的云计算已经推出了十五年，亚马逊云科技的年度大会 re:Invent 也举办到了第十年。

今年 re:Invent全球 大会上，亚马逊云科技继续向前，发布系列重磅的自研计算存储底层技术、将云服务拓展至太空数据服务、用 AI 机器学习驱动数据分析与应用、用 API 低代码去降低云计算门槛、低碳等等。从全球云计算巨头的举措，我们能窥见，云在走向全面而融合的趋势。

自研第三颗 CPU Graviton 3、固态硬盘 Nitro，投身挖掘硬件性能技术前沿

现在，国内外云计算、互联网巨头，都在重点投入底层基础设施的硬件技术研发。今年 re:Invent 大会上，亚马逊云科技就发布了新一代基于 Arm 的自研 CPU 处理器 Amazon Graviton3，这已经是亚马逊云科技自研设计的第三颗 CPU 处理器。由 Amazon Graviton3 处理器支持的 C7g 实例与由 Graviton2 处理器支持的当前一代 C6g 实例相比，可将计算密集型工作负载性能提高多达 25%。Amazon Graviton3 处理器与 Graviton2 相比，为科学计算、机器学习和媒体编码工作负载提供高达 2 倍的浮点运算性能，为加密工作负载速度提升高达 2 倍，为机器学习工作负载提供高达 3 倍的性能。

亚马逊云科技还发布了采用全新 Amazon Nitro SSD 固态硬盘的 Im4gn/Is4gen/ I4i 实例，可为 I/O 密集型工作负载提供超高存储性能。通过自研的 Amazon Nitro SSD，Im4gn/Is4gen/I4i 实例提供高达 30 TB 的 NVMe 存储，与上一代 I3 实例相比，I/O 延迟降低了 60%，延迟可变性降低了 75%，从而最大限度地提高了应用程序性能。Amazon Nitro SSD 通过优化存储堆栈、虚拟化管理程序和硬件与 Amazon Nitro 系统紧密集成。与使用商用 SSD 相比，亚马逊云科技同时管理 Amazon Nitro SSDs 的硬件和固件，使 SSD 更新交付速度更快，让客户可以从改进的功能中获益。Im4gn 实例（现已可用）采用 Amazon Graviton2 处理器，与 I3 实例相比，性价比提高多达 40%，每 TB 存储成本降低多达 44%。Is4gen 实例（现已可用）也采用 Amazon Graviton2 处理器，与 I3en 实例相比，每 TB 存储成本降低多达 15%，计算性能提高多达 48%。

另外，去年 re:Invent 亚马逊云科技宣布研制机器学习训练芯片 Amazon Trainium，在今年的 re:Invent 上也发布了基于 Trainium 的实例。由 Amazon Trainium 芯片支持的 Trn1 实例为在 Amazon EC2 中进行深度学习模型训练提供最佳性价比以及最快的训练速度，与 P4d 实例相比，通过 Trn1 实例训练深度学习模型的成本降低多达 40%。Trn1 实例提供 800Gbps EFA 网络带宽（比最新基于 GPU 的 EC2 实例高两倍），并与 Amazon FSx for Lustre 高性能存储集成，让客户可以启动具有 EC2 UltraClusters 功能的 Trn1 实例。通过 EC2 UltraClusters，开发人员可以将机器学习训练扩展到一万多个与 PB 级网络互连的 Trainium 加速器，让客户按需访问超算级性能，即便是最大型和最复杂的模型，训练时间也可以从几个月缩短到几天。

云的服务还能用在哪里？到太空去

其实不仅亚马逊云科技，其他国内外的云巨头也都在与各类太空卫星研究机构、服务商展开合作，将云服务拓展到太空领域。Amazon Ground Station 就是亚马逊云科技的卫星地面站服务，通过卫星地面站接收数据到亚马逊云科技区域进行处理。接着，Amazon Outposts 将亚马逊云科技的云体验延伸到客户的本地数据中心，与云端无缝连接。IoT 服务、Snowball 家族将云的能力延伸到地球上各个角落。 

另外亚马逊云科技推出新的托管服务 Amazon  Private 5G，则是让企业方便利用 5G 专网来连接企业内的联网传感器和边缘设备，并且通过亚马逊云科技控制台统一管理。

亚马逊云科技还发布了新服务 Amazon Cloud WAN，将亚马逊云科技全球网络的优势带给企业，让企业的广域网跟云融为一体。Amazon Cloud WAN 让企业可以在全球的亚马逊云科技广域网络上建立、管理统一的云网络和监控全球流量。所有的远程用户和站点以及数据中心将使用 虚拟专网 或直接连接到地理位置最近的地方，实际上在几分钟内亚马逊云科技就可以构建一个全球化网络服务。

回到云的基础设施实力，亚马逊云科技基础设施遍及 25 个地理区域的 81 个可用区，并计划新建 9 个区域和 27 个可用区，有 14 个本地扩展区域、17 个 Wavelength 区域，有 108 个 Direct Connect 光纤直连站点，有 310 个边缘站点和 13 个区域缓存站点。在此基础上，亚马逊云科技宣布，2022 年将在 21 个国家建设超过 30 个本地扩展区，让客户以更低的延迟服务其终端用户。亚马逊云科技 2020 年开始在美国建立了两个本地扩展区，2021 年增加了 12 个本地扩展区。2022 年，建立本地扩展区的步伐将进一步加大。

用机器学习，驱动云上海量非结构化数据的应用与创新

在 re:Invent 全球大会上，亚马逊机器学习副总裁 Swami Sivasubramanian 的主题演讲以《如何通过数据与人工智能进行创新》为题。Swami 指出，“数据是推动洞察的潜在力量，有助于更好地开展业务。”他列举了飞利浦医疗、纳斯达克等多种大数据的例子，”从大数据走向海量非结构化数据，事实上 80%的数据是非结构化的。”

在丰富的数据服务组合之上，今年大会上亚马逊云科技又发布多个数据工具：
Amazon DevOps Guru for RDS 是一个数据库性能工具，它利用机器学习，可以在几分钟内自动检测、诊断和解决难以发现的数据库性能问题。
Amazon RDS Custom 提供了 SQL Server 支持，它通过托管式服务节省时间，帮助实现自动化版本维护与补丁升级，将宝贵的资源专注于更重要的业务。
Amazon Dynamodb 的新功能 Standard-Infrequent Access 表类，它可以将不频繁访问的表数据进行分类，DynamoDB 的存储成本降低 60%。
Amazon Database Migration Service Fleet Advisor 是一个数据库迁移工具，它可以帮助客户选择最佳可用的计算实例和配置，用以部署机器学习模型，获得最佳的推理性能和成本，并且将过去数周才能完成的工作缩短到数小时。

本次 re:Invent，亚马逊云科技机器学习平台 Amazon SageMaker 又添六项新功能。
亚马逊云科技新推出的 Amazon SageMaker Ground Truth Plus，让用户无需编写任何代码即可快速交付高质量的训练数据集。数据是机器学习的燃料。不过，准备数据的过程令人沮丧甚至令人愤怒。有了这项新功能，极大地解决了数据科学家准备数据的痛点问题。
在模型构建与算法编写环节，新推出的 Amazon SageMaker Studio Notebook 允许用户访问广泛的数据源，在一个记事本中执行数据工程、分析和机器学习工作流。
新推出的 Training Compiler 模型训练编译器，让机器学习模型培训速度提高 50%。Inference Recommender 模型推理推荐程序，可将部署时间从数周减少到数小时。Serverless Inference 无服务器推理，通过按使用付费的定价降低拥有成本。

API、低代码，降低云计算使用者开发门槛

其实亚马逊云科技的每一个云服务，从第一天诞生起，API 就无处不在，例如计算服务 Amazon EC2 是 API，存储的 Amazon S3 也是 API，再比如创建网络拓扑、创建数据库资源、起停关这些操作，都是通过 API 来实现的。

为了帮助客户最大限度实现数据价值，亚马逊云科技千方百计降低数据使用的门槛。无论是开发人员、运维人员、数据科学家、行业用户，还是即将进入云计算行业的初学者，亚马逊云科技都在不断推出新的服务和功能，降低他们的使用门槛。

对于微服务化应用的开发者，Amazon App Runner 将底层使用 Fargate、ALB 和 Route 53 等服务能力封装，让开发者更容易去部署。通过 App Runner，开发者可以快速、大规模实现通过代码或者容器镜像的方式，部署一套线上可用、可轻松扩展的应用。

Amplify 是亚马逊云科技针对 Java 等前端框架的开发人员的全栈开发需求，将 亚马逊云科技底层能力，如调用云原生数据存储 Amazon DynamoDB 以及身份认证服务 Amazon  Cognito 等封装，降低了对于后端服务逻辑没有开发概念或者没有相应技能的前端人员，通过前端技术去开发整个后端服务。另外亚马逊云科技还最新推出了 Amazon Amplify Studio，让前端开发人员以低代码的方式，在手机端、web 端实现端到端的，包括 UI、包括后端业务逻辑创建的能力。

为了让运营人员更加轻松，亚马逊云科技今年带来了 RDS 的 DevOps Guru，以及四个无服务器的分析服务、Amazon Redshift ML、Amazon Canvas、Amazon QuickSight Q 等等，让业务人员更加轻松，不用求人就可以自己做数据分析，甚至做机器学习。亚马逊云科技还针对特定的行业，如制造业、汽车行业分别推出了数字孪生、Amazon IoT TwinMaker 以及为车联网数据更好传输的 Amazon IoT FleetWise。

除了多项技术开发与云服务的技术，在低碳环保方面，为了应对气候危机，由亚马逊和 Global Optimism 共同发起了《气候宣言》，呼吁签约各机构采取紧急行动，在 2040 年前实现净零碳排放，提前十年达成《巴黎协定》目标。亚马逊以身作则，承诺到 2030 年 100% 使用可再生能源为公司运营提供动力。大会上，亚马逊将计划再次提速，希望到 2025 年实现这一目标。

从今年的 re:Invent 大会，我们能看到，云上的一切，亚马逊云科技都在有条不紊的推进。云上已经全面融合了数据、AI 等应用与创新的事务，而云计算巨头也在承担更多社会责任。所有这些之上，技术也将更加稳步向前，值得期待。