比较s3 bucket和csv文件之间的行并发送到s3

Posted 2021-04-29

我有带有zip文件的s3存储桶。 zip文件的路径是s3：// bucketName / tech / type / serialNumber。

我还有包含region，serialNumber和type的csv文件

我需要将s3存储桶中的serialNumber和type与serialNumber进行比较并从csv中键入，并将带有zip文件的文件夹上传到与该序列对齐的区域下的另一个s3存储桶中的位置，并从csv输入。

我不知道怎么开始:)我希望我能够解释我的自我

**我在bash中编写脚本

谢谢

答案

一种方法是将源数据加载到数据库中。

然后，您的应用程序可以读取CSV文件并查询数据库以获取适当的信息。 （这就是数据库存在的原因！）

另一种方法是通过CSV文件读取您的应用程序。对于每个条目，它将从S3下载匹配文件并根据需要进行处理。

或者，您可以从S3下载所有数据并在本地执行所有操作（这可能意味着在您自己的计算机上或在Amazon EC2实例上）。

我建议你选择一种编程语言（例如Python），而不是试图在bash中这样做。