kinesis代理到lambda,如何获取原始文件和服务器

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kinesis代理到lambda,如何获取原始文件和服务器相关的知识,希望对你有一定的参考价值。

我有一个kinesis代理,它将很多日志文件信息传递给kinesis流,我有一个Lambda函数来解析信息。在Lambda上除了字符串我还需要知道源文件名,机器名是否可行?

答案

您可以将其添加到发送到Kinesis的数据中。

Lambda获取Kinesis记录为base64字符串,您可以编码为此字符串这种形式的JSON

{
  "machine": [machine],
  "data": [original data]
}

然后,在处理Lambda上的记录时:(nodejs):

let record_object = JSON.parse(new Buffer(event.Records[0].kinesis.data, 'base64').toString('utf8'));

let machine = record_object.machine;
let data = record_object.data;

以上是关于kinesis代理到lambda,如何获取原始文件和服务器的主要内容,如果未能解决你的问题,请参考以下文章

将 AWS Lambda 数据推送到 Kinesis Stream

Kinesis 代理不解析文件

来自 API 网关 VS kinesis Streams 的 Lambda

使用 Lambda 或 Kinesis Firehose 将 CloudWatch Logs 传输到 S3?

是否可以使用 .Net Core 2.2 在 AWS Lambda 上使用 Kinesis FireHose 执行 PutRecord?

Amazon Kinesis 和 AWS Lambda 重试