使用 NiFi 写入启用 MFA 的 AWS S3 存储桶

Posted 2023-02-16

技术标签:

【中文标题】使用 NiFi 写入启用 MFA 的 AWS S3 存储桶【英文标题】：Use NiFi to write into AWS S3 Bucket with MFA enabled 【发布时间】：2018-11-28 12:54:46 【问题描述】：

是否可以在 MFA 处于活动状态时使用 NiFi 处理器 PutS3Object 将数据写入 S3 Bucket？

如果不是，考虑将数据从 hive/HDFS 写入 S3，还有什么替代方案？

【问题讨论】：

【参考方案1】：

从 1.8.0 版开始，我认为 Apache NiFi *S3Object 处理器（或 AWSCredentialsProviderControllerService）不支持此功能。我建议在Jira site 上打开功能请求票。您可以使用以下选项之一立即完成此操作：

使用ExecuteStreamCommand 或ExecuteProcess 调用终端命令或使用AWS S3 CLI 的shell 脚本使用 ExecuteScript 运行直接使用 AWS S3 开发工具包 (example code) 的自定义 Python (/Ruby/Groovy/etc.) 脚本编写一个直接使用AWS S3 SDK 的自定义处理器

【讨论】：

以上是关于使用 NiFi 写入启用 MFA 的 AWS S3 存储桶的主要内容，如果未能解决你的问题，请参考以下文章

AWS Cognito - 启用 MFA |错误：如果配置了 SMS 角色，则无法关闭 MFA

Terraform 无法承担启用 MFA 的角色

使用 Learner Lab - 使用 AWS Lambda 将图片写入 S3

AWS Lambda 函数写入 S3

我如何使用 aws lambda 将文件写入 s3 (python)？