使用AWS步骤函数处理大量数据？

Posted 2021-05-01

我们希望使用AWS步骤功能处理CSV文件中的大量数据，但我们不确定这是否是最佳选择。

我们的用例如下： - 我们上传了一个包含大量行（如50K）的CSV，每行我们处理一个小的traitements（每个traitement由lambda函数处理）。目前，我们认为最好的选择是将我们的CSV中的每一行插入DynamoDB中，并为每一行启动我们的lambda函数。

你觉得这怎么样 ？

答案

使用Lambda处理大型文件有多种模式。

• 一种方法是使用Lambda函数来拆分大文件并将部件委托给worker Lambda函数。
• 如果零件的处理步骤足够复杂，您可以触发多个步骤功能工作流程。

在您提出的方法中，如果每个项目处理足够大，则逐项处理是有意义的，但通常以批处理的方式处理更有效。