从多个进程访问 Amazon S3 文件

Posted 2023-03-31

【中文标题】从多个进程访问 Amazon S3 文件

【英文标题】：Amazon S3 files access from multiple processes

【发布时间】：2014-09-12 13:57:20

【问题描述】：

AWS 如何处理同时访问同一个文件的多个不同线程？例如，假设我在 S3 中存储了几个大 (1GB+) 数据文件，并且两个不同的进程需要同时处理该文件（例如，一个可能正在将数据复制到另一个存储桶，而另一个进程正在加载数据导入 Redshift 进行分析）。我知道为了冗余，他们在 S3 中保留了每个文件的多个副本，但它如何处理多个请求来对同一文件进行操作？

谢谢

【参考方案1】：

您可以从任意多个同时处理的进程中读取文件。 S3 是事务性的，因此如果您尝试从多个进程写入，第一个写入将完成，然后下一个进程将覆盖前一个。因此，从多个进程写入时要小心。