基于AWS构建云上数仓第二步：AWS常见服务简介

Posted 2022-08-12 黑马程序员官方

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于AWS构建云上数仓第二步：AWS常见服务简介相关的知识，希望对你有一定的参考价值。

AWS 常见服务简介[了解]

AWS(Amazon web service) - 亚马逊公司旗下云计算服务平台，为全世界各个国家和地区的客户提供一整套基础设施和云解决方案。AWS面向用户提供包括弹性计算、存储、数据库、物联网在内的一整套云计算服务，帮助企业降低IT投入和维护成本，轻松上云。

通俗的说，就是：AWS是亚马逊公司提供的一款公有云计算平台，提供：IaaS、PaaS、SaaS的各项服务，帮助企业快速构建业务。

我们来看一下，AWS之上常见的服务

IaaS层服务

弹性计算-EC2 （VPS、云上虚拟机）

EC2(Elastic cloud compute)，弹性云计算，是AWS提供的一款IaaS层的服务，其本质是提供的一系列的云上虚拟服务器的解决方案。

Amazon EC2 提供以下功能：

虚拟计算环境（虚拟服务器），也称为实例
实例的预配置模板，也称为 Amazon 系统映像 (AMI)，其中包含您的服务器需要的程序包（包括操作系统和其他软件）。
实例 CPU、内存、存储和网络容量的多种配置，也称为实例类型
使用密钥对的实例的安全登录信息（AWS 存储公有密钥，您在安全位置存储私有密钥）
临时数据（停止或终止实例时会删除这些数据）的存储卷，也称为实例存储卷
使用 Amazon Elastic Block Store (Amazon EBS) 的数据的持久性存储卷，也称为 Amazon EBS 卷。
用于存储资源的多个物理位置，例如实例和 Amazon EBS 卷，也称为区域和可用区
防火墙，让您可以指定协议、端口，以及能够使用安全组到达您的实例的源 IP 范围
用于动态云计算的静态 IPv4 地址，称为弹性 IP 地址
元数据，也称为标签，您可以创建元数据并分配给您的 Amazon EC2 资源
您可以创建的虚拟网络，这些网络与其余 AWS 云在逻辑上隔离，并且您可以选择连接到您自己的网络，也称为 Virtual Private Cloud (VPC)

EC2的计费类型

EC2在计费上有3中类型的实例可选：

按需实例

按照小时计费，根据使用时间的多少进行付费。

优点：

随用随开
不用随时删除

缺点：

最贵的使用方式

预留实例

预留实例就是预购买的实例。

可以按照1年、3年、5年的时长一次性购买对应时间的服务器使用权。

优点：

价格便宜有折扣

缺点：

使用方式不够灵活

Spot实例

Spot是指竞价实例。

在AWS中会有一堆实例的资源池，这些资源池里面的实例价格是浮动的。

你可以购买这些实例按照按需的方式使用付费。并在购买的时候给定你所能接受的最高出价。

如果浮动价格超过了你所能给的最高价格，这些实例将会被AWS回收。如果在你给定的最高出价内，你可以一直持有这些实例。

优点：

价格最便宜的方式

确定：

不稳定，适合在大规模计算集群任务的时候进行购买。

比如，要计算一个很大规模的Spark任务，可以购买一批Spot实例使用。

用便宜的价格得到想要的算力。就算因出价限制被回收，只要不超过一定数量不影响整个任务的继续执行。

你可以配置Spot和正常服务器的比例来确保哪怕Spot被全部回收也不影响业务。

简单来说，EC2就是AWS上的虚拟机服务器，根据你的需要去购买使用。

VPC - Virtual Private Cloud（虚拟私有云、虚拟局域网）

Amazon Virtual Private Cloud (Amazon VPC) 允许您在已定义的虚拟网络内启动 AWS 资源。这个虚拟网络与您在数据中心中运行的传统网络极其相似，并会为您提供使用 AWS 的可扩展基础设施的优势。

通俗来说，就是在AWS云平台内，为你创建一个虚拟的局域网环境，你的所有AWS资源均可定义在这个VPC内，从而实现和其它资源的隔离，以及实现VPC内高速网络带宽的访问。

简单来说，VPC就是云上的私有内网。你可以创建一个虚拟内网，将你所需的服务放入这个虚拟内网（局域网）内。让服务之间均是内网访问的状态。

AWS Direct Connect

Direct Connect是一款专线服务，可以提供直通AWS云的专线服务。

日常和云服务的通讯是走公网的，日常开发没有影响，不过如果有大量本地内容要和云服务进行通讯，那么传输效率就会受到公网带宽的限制。

Direct Connect就可以帮助公司摆脱这种限制，享受直达云服务的服务。

简单来说，这个服务就是拉专线到AWS数据中心。

让你可以直连到你在云上的服务。

PaaS层服务

S3 - Amazon Simple Storage Service

S3 是一种面向 Internet 的存储服务。您可以通过 Amazon S3 随时在 Web 上的任何位置存储和检索的任意大小的数据。您可以使用 AWS 管理控制台简单而直观的 web 界面来完成这些任务。

通俗的说，S3就是AWS提供的一款分布式的对象存储服务。可以认为S3是AWS云上的HDFS。

我们可以将其当做是一个云上的私有网盘存储。

可以帮助我们存储公司内的业务数据，并支持各种编程语言对其进行开发

简单来说，就是云上的HDFS、或者网盘。

可以存储数据，同时S3支持编程开发，可以使用许多编程语言操作S3.

AWS Deep Learning AMI

AWS Deep Learning AMI 可以为机器学习专业人员和研究人员提供基础设施和各种工具，从而加速云中任意规模的深度学习进程。您可以在 Amazon Linux 或 Ubuntu（预先安装了流行的深度学习框架）上快速启动 Amazon EC2 实例。框架示例包括 Apache MXNet 和 Gluon、TensorFlow、Microsoft Cognitive Toolkit (CNTK)、Caffe、Caffe2、Theano、Torch 和 Keras。您可以使用这些框架训练复杂的自定义 AI 模型、试验新算法或学习新技能和技术。