AWS lambda 函数 python/pyspark

Posted 2023-04-15

【中文标题】AWS lambda 函数 python/pyspark

【英文标题】：AWS lambda function python/pysparkl

【发布时间】：2019-03-22 21:43:37

【问题描述】：

我有一个 lambda 函数，当对象命中 s3 存储桶中的特定文件夹并移动到同一个 s3 存储桶中的不同文件夹时触发。

但我正在尝试修改 lambda 函数，其中只有当我们收到所有强制文件时 lambda 才会触发。（我拥有的现有 lambda 函数不会等待其他文件，只要上传新文件就会触发和移动） .

谁能帮我解决这个问题。

【参考方案1】：

触发器不能以这种方式工作。 S3 将为每个上传的与触发器定义匹配的文件触发 lambda 函数，因为它会针对每次上传进行评估。

如果是时间问题，您可以使用停止功能。 S3 将触发 lambda。 Lambda 将触发一个步进函数，该函数可以等待 X 秒/分钟/天。然后步骤函数将触发另一个触发器来对 S3 存储桶执行操作。https://aws.amazon.com/getting-started/tutorials/create-a-serverless-workflow-step-functions-lambda/?&trk=el_a131L000005unTnQAI&trkCampaign=pac_q2-04-2019_stepfunctions_tutorial_offering_link_2&sc_channel=el&sc_campaign=pac_q2-04-2019_stepfunctions_tutorial&sc_outcome=PaaS_Digital_Marketing&sc_geo=mult