将 Lambda 连接到 AWS MSK 中的 kafka 主题的最经济有效的方法是啥?

Posted

技术标签:

【中文标题】将 Lambda 连接到 AWS MSK 中的 kafka 主题的最经济有效的方法是啥?【英文标题】:What is the most cost effective approach to connect a Lambda to a kafka topic in AWS MSK?将 Lambda 连接到 AWS MSK 中的 kafka 主题的最经济有效的方法是什么? 【发布时间】:2020-08-10 20:43:25 【问题描述】:

我想将 Lambda 函数附加到 AWS MSK Kafka 集群中的主题,但根据我在 AWS 文档中的理解,目前还不可能。

所以我想我可以有一个 Lambda 函数,它会以间隔为基础运行,使用 CloudWatch 事件每分钟触发一次。

另一种选择是运行一个小型 ec2 单元来运行客户端消费者。

我不确定这是否是最便宜的解决方案。那么,我们可以使用哪些最具成本效益的解决方案来实现像 Lambda 到 SQS 连接器一样工作的解决方案?

【问题讨论】:

【参考方案1】:

您现在可以使用 MSK 主题作为 AWS lambdas 的事件源(截至上周)!根据亚马逊发出的发布声明,这项服务无需额外费用!

创建 lambda 函数后,您可以添加 MSK 作为触发器。确保附上适当的政策(如下文引用的文章中所述)。

这里有一些相关资源。

https://aws.amazon.com/blogs/compute/using-amazon-msk-as-an-event-source-for-aws-lambda/ https://docs.aws.amazon.com/lambda/latest/dg/with-msk.html

【讨论】:

以上是关于将 Lambda 连接到 AWS MSK 中的 kafka 主题的最经济有效的方法是啥?的主要内容,如果未能解决你的问题,请参考以下文章

将特定 AWS API Gateway 阶段连接到 CloudFormation 模板中的特定 Lambda 别名

无法从 lambda 中的 python 连接到 aws redshift

如何将特定 AWS API Gateway 阶段连接到特定 AWS lambda 别名

AWS Lambda不支持连接到专用租赁VPC中的资源

将 AWS Lambda 连接到 Redshift - 60 秒后超时

AWS Lambda 无法连接到 RDS 实例,但我可以在本地连接?