是否可以在 aws lambda 中使用 bigquery？

Posted 2023-03-24

【中文标题】是否可以在 aws lambda 中使用 bigquery？

【英文标题】：Is it possible to use bigquery in aws lambda?

【发布时间】：2021-12-06 15:58:35

【问题描述】：

我想编写一个 python 函数，每次在我的 S3 存储桶中发生 put 事件时将数据发送到 Bigquery，但我是 AWS 的新手，是否可以将 bigquery 与 lambda 函数集成？或者有人可以给我另一种方式将我的 dynamodb 数据流式传输到 bigquery？谢谢我的语言是python N.B：我使用 dynamostream firehose 在 S3 中发送我的数据现在我想在每次发生 put 事件时从 s3 检索我的数据以将其发送到 bigquery。

【问题讨论】：

您提到的是 S3，然后是 DynamoDB。请编辑您的问题，使其更具体。

您知道 bigquery 是 Google 的专有服务吗？只是确保您的意思是要求一个跨云提供商的解决方案？此外，这是一个很大的问题范围 - 您需要将其分解为更有针对性的问题。

【参考方案1】：

网上已经有很多关于“如何在 S3 上放置对象后触发 lambda”的资源。

但这里有一些链接可以帮助您进行设置：

当您的 S3 存储桶上发生某些操作时，您将需要设置一个 EventBridge（CloudWatch Events 是旧的）来触发您的 Lambda： https://aws.amazon.com/fr/blogs/compute/using-dynamic-amazon-s3-event-handling-with-amazon-eventbridge/

您可以使用 boto3 Python 框架来编写 AWS Lambda： https://boto3.amazonaws.com/v1/documentation/api/latest/index.html

您可以通过 GCP 检查 BigQuery Python SDK 以与您的 BQ 数据库进行通信：https://googleapis.dev/python/bigquery/latest/index.html

【讨论】：

使用 Worker 身份池来管理 AWS 和 Google Cloud 之间的身份验证，而不使用（脏）服务帐户密钥文件