什么是AWS Lambda？

Posted 2021-05-29 Data+Science+Insight

什么是AWS Lambda？

计算服务的演进

EC2------Container-------Lambda

虚拟机---容器--------------serverless无服务器架构

EC2(Elastic Compute Cloud)

EMR(Elastic MapReduce)

import json

def lambda_handler(event, context):

    # TODO implement

    return {

        'statusCode': 200,

        'body': json.dumps('Hello from Lambda!')

    }

# event即为接收过来的数据，例如来在trigger kinesis.

Werner Vogels在主题演讲上简要叙述了Lambda设计思路的由来。

Vogels首先抛出一个问题：什么是云计算的根本（primitives）？

答案：云计算是一个执行环境。

Vogels再抛出第二个问题：什么是应用的根本？

答案：函数（functions，即业务逻辑的载体）+数据（data，即跟业务相关的输入与输出），以及这两者之间的交互——即事件（events。常见的事件如增加、变更、删除等）。

换言之，对于一个应用来说，除了functions、data、events这三个东西是根本之外，其他无论什么代码和框架，无非都是胶水或者UI罢了。

通过 AWS Lambda，无需配置或管理服务器即可运行代码。您只需按消耗的计算时间付费 - 代码未运行时不产生费用。

当你提到'无服务器计算'时，你可能马上想到的是AWS Lambda，Microsoft Azure Functions和Google Cloud Functions等功能即服务（FaaS）技术。虽然还有其他无服务器技术（如无服务器数据存储和数据库），但这些功能计算服务通常就是你所了解的“无服务器计算”。

AWS lambda的核心是事件驱动，驱动可能来自，Alexa,SNS，DynamoDB，S3，Kinesis等；

AWS lambda在整个AWS这个版图中占有非常重要的地位。

Lambda是AWS提供的一款无服务器计算服务。您不需要管理服务器、不需要安装操作系统、不需要维护运行时环境、不需要担心应用的可用性和扩展性。

AWS CTO Werner Vogels在AWS re:Invent 2014大会的第二场主题演讲上公布了两个新服务和一系列新的实例，两个新服务都相当令人瞩目：第一个宣布的新服务是Amazon EC2 Container Service，跟Docker紧密联合的管理服务，令人兴奋，不过不是本篇报道的重点。

本篇报道主要想向大家介绍一下今天宣布的第二个服务：AWS Lambda。

什么是AWS Lambda？

根据Jeff Barr在博客上的描述，Lambda是一个“可简单创建Lambda函数、无需管理的计算平台”。不过我们也可以这么理解：Lambda是一个针对AWS计算资源的IFTTT脚本创建器和管理器。

举个例子：你有一个照片类应用。照片上传到S3之后，需要在DynamoDB上记录新照片的元数据。Lambda的作用就是可以有一个地方放一个触发脚本来执行这个任务，而不用关心这个脚本运行在什么机器或者虚拟机上。

Vogels在专访中表示，也可以将Lambda理解为将functions（函数）从计算资源层抽象出来的服务。

Lambda的设计理念

Werner Vogels在主题演讲上简要叙述了Lambda设计思路的由来。

Vogels首先抛出一个问题：什么是云计算的根本（primitives）？

答案：云计算是一个执行环境。

Vogels再抛出第二个问题：什么是应用的根本？

答案：函数（functions，即业务逻辑的载体）+数据（data，即跟业务相关的输入与输出），以及这两者之间的交互——即事件（events。常见的事件如增加、变更、删除等）。

换言之，对于一个应用来说，除了functions、data、events这三个东西是根本之外，其他无论什么代码和框架，无非都是胶水或者UI罢了。

既然如此，理想的情况是用最少的时间写胶水，将做多的时间投入到应用的核心当中。

而最常见的胶水代码，就是触发器（trigger）：当发生一个事件（event）时，执行某个函数（function），输出新的数据 （data）。Vogels以Excel表单为例：在一个表单当中，一个单元格数值的变更，触发总和列对应单元格数值的变更，就是一个事件触发函数将新的 变量纳入计算得出新的数值的过程。这个过程是自动的，还可以是并发的，即一处变更同时触发多个函数。

基于这个思路，AWS做了Lambda服务。

Lambda的用法

以下内容来自于Jeff Barr的博文：

Lambda服务的核心概念是Lambda function（简称function，函数），目前仅支持Node.js。围绕function可以定义情景，包括执行环境（语言、内存、超时、 IAM角色）以及这个function要触发的另一个function。function的代码和有关情景的元数据均存储在AWS中，以ARN（Amazon Resource Name）的方式被外部识别。如需包含第三方库，可以放在ZIP文件中上传。

function上传之后，开发者可以将其指定到指定的AWS资源（如某个S3 bucket，某个DynamoDB表，某个Kinesis流），然后Lambda就会建立该资源跟你的function之间的关联。当资源方面发生变 动，Lambda就会去自动张罗资源去执行你的function。用于运行function的资源的创建分配和释放都有Lambda自动来做，开发者完全 不需要去干预。

每一个function默认会指定一个比较短的执行时间上限，不过这个上限最高可以调整到60秒。

每一个function具有双重的IAM角色：一个是触发角色（invocation role），决定Lambda执行某个function的权限；另一个是执行角色（execution role），决定该function操作AWS资源的权限。

Lambda会监控每个function的执行情况，并将请求数、延时、可用性、错误率等指标记录在CloudWatch里。控制台里可以看到过去30日的指标。

使用Lambda的两点须知：

1. 情景信息设置了该function的可用内存，可设置到128MB到1GB之间的任何数值。Lambda会这个数值选择相应的CPU能力、网络带宽和IO带宽。
2. 每个function的触发可以使用最多256个进程或线程，占用本地512MB存储空间，1024个文件描述符，以及10个出口网络连接。
3. Lambda对每个AWS账户设置了一系列管理限制。预览版期间，每个function最多可同时触发另外25个function。

Lambda服务的定价见官网，由请求数、function运行期间使用的存储、运行期间使用的内存三部分组成。预览版期间有一部分免费的用量。

总结

Lambda是让开发者们兴奋的服务，在Twitter上激起了大量讨论。Jeff Barr表示Lambda后续还会有很多更新，比如对更多AWS资源的支持和对更多语言的支持。

除了Amazon EC2 Container Service和AWS Lambda之外，本次主题演讲还宣布了高性能EC2实例C4，可挂载的EBS卷（SSD）可支持到16TB的尺寸。

 

转自：http://www.infoq.com/cn/news/2014/11/aws-lambda-summary

就像很多人所知道的那样，这个世界上出现了一种叫区块链的技术，有一些区块链项目会发行 Token，这些 tokens 可以在交易所里交易。

我前几天想到是不是可以记录一下某个交易所的交易量变化，来了解这个交易所的运营情况。而且大部分交易所都有 api 可以调取交易市场上的数据。我选择了一个叫做 BigONE 的交易所。

根据他们的文档，我只需要调用一个接口就可以拿到所有交易市场的信息了。另外，我每天调用一次（凌晨3点），应该就差不多了。如果单开一台服务器做这件事，有点浪费；如果用我自己的电脑做这件事情，电脑就没法关机。

正好之前用过一点 AWS Lambda，这是一个只需要为算力付费（不是挖矿的算力）的计算服务。查了查，配合 AWS 的 Cloud Watch 服务，可以实现定点工作的功能，工作完成（几秒钟即可完成一次 api 的请求）后就不再收费。

创建 Lambda 函数

为了使用 AWS 的 Lambda 进行计算，你需要把处理方法写成一个函数。如果你用 python 就 def 一个，如果你用 node.js 就 function 一个。当到达了计算启动的条件，AWS 会自动调用这个函数。通常，你可以使用 AWS 默认的函数名，lambda_handler，并且这个函数被放在lambda_function.py这个文件下。

Lambda 控制台中的编辑器

下面就是创建这个函数的具体代码：

from botocore.vendored import requests import boto3 from datetime import datetime

s3 = boto3.client("s3") def lambda_handler(event, context):     markets = requests.get("https://api.big.one/markets")     key = datetime.now().isoformat().split('.')[0] + '.json'     s3.put_object(Body=markets.text, Key=key, Bucket="bigone-metrics")

这里有一点想要说明，在 python 中发 http 请求时经常[1]被用到 requests 模块被 Lambda 放在了botocore.vendored中[2]。

创建 S3 存储桶，赋予 Lambda 访问权限

为了更好的记录历史数据，我们都找个地方把数据存起来，S3 是一个比较便宜的地方。

为此我们需要在 S3 中创建一个存储桶。

但有了 S3 的存储桶之后，Lambda 并没有权限去访问它。我们需要为这个 Lambda 函数创建一个新角色，并赋予适当的权限。具体方法是：

创建 IAM，选择信任 Lambda

1. 在 IAM 中创建一个 Role，这个 Role 要基于 Lambda （用 AWS 的话说，就是信任实体类型是 Lambda，见上图）
2. 为这个角色附加策略时，选择 S3 的 FullAccess 权限[3]，和 CloudWatch Log 的权限（因为 Lambda 会把启动时间，运行时间写在日志中）

最后把这个角色赋予刚刚创建的 Lambda 函数。

创建 CloudWatch 计划

在 Cloud Watch 中创建创建一个规则，要求这个规则中的计划事件是每天一次，并且把触发目标指向刚刚创建的 Lambda 函数。具体示例可参加 AWS 官方指南。

在 CloudWatch 控制台中创建规则

如果你想使用 Cron 来制定启动时间，比如北京时间晚上 1 点，你可以在上图所示的界面使用 Cron 表达式：0 17 * * ? *。 注意这个时间是基于 UTC 时间。

之后启动计划事件就可以了。

后话

这应该比单开一台服务器的成本低很多。另外，我使用的是 AWS 东京区域。

1. 这里「很多」的依据是我在 StackOverFlow 中搜索如何用 python 发 request 的时候经常看到 ↩
2. 更多 Lambda 中可用的 python modules 可以查看这个 gist ↩
3. 其实只需要一个存储桶的 FullAccess，但如果你使用 AWS 封装好的策略，就只能选 FullAccess。如果你想要把权限改的更「贴身」，可以之后去编辑 json 格式的策略文件。 ↩

 

参考：什么是AWS Lambda？——事件驱动的函数执行环境

参考+book：AWS Lambda in Action: Event-driven serverless applications

参考：手把手来一次 AWS Lambda 的实践

参考：AWS Lambda都是浮云，AWS Fargate才是王道——无服务器的未来，有我没你！

参考：花了 1000G，我终于弄清楚了 Serverless 是什么（上）：什么是 Serverless 架构？

参考：Create a Lambda Function with the Console

参考++aws视频中心+毛郸榕:快速上手AWS Lambda - 10.AWS Lambda配合S3 - 对象事件触发 (图片压缩/水印)

参考+aws视频中心+毛郸榕：快速上手AWS Lambda - 11.AWS Lambda配合Kinesis - 实时流数据处理

参考+aws视频中心+毛郸榕：快速上手AWS Lambda - 1.什么是AWS Lambda

参考：aws documentation