如何将 S3 存储桶挂载到 EC2 实例并使用 PHP 写入？

Posted 2023-03-22

【中文标题】如何将 S3 存储桶挂载到 EC2 实例并使用 PHP 写入？

【英文标题】：How can I mount an S3 bucket to an EC2 instance and write to it with PHP?

【发布时间】：2013-05-01 23:13:43

【问题描述】：

我正在处理一个托管在 Amazon Web Services 上的项目。服务器设置由两个 EC2 实例、一个 Elastic Load Balancer 和一个额外的 Elastic Block Store 组成，Web 应用程序驻留在其中。该项目应该使用 S3 来存储用户上传的文件。为了这个问题，我将S3存储桶称为static.example.com

我尝试过使用s3fs (https://code.google.com/p/s3fs/wiki/FuseOverAmazon)、RioFS (https://github.com/skoobe/riofs) 和s3ql (https://code.google.com/p/s3ql/)。 s3fs 将挂载文件系统，但不允许我写入存储桶（我在 SO 上提出了这个问题：如何使用 FUSE 挂载具有适当权限的 S3 卷）。 RioFS 将挂载文件系统并让我从 shell 写入存储桶，但使用 php 保存的文件不会出现在存储桶中（我在 GitHub 上打开了项目的问题）。 s3ql 将挂载bucket，但是bucket中已经存在的文件都不会出现在文件系统中。

这些是我使用的挂载命令：

s3fs static.example.com -ouse_cache=/tmp,allow_other /mnt/static.example.com
riofs -o allow_other http://s3.amazonaws.com static.example.com /mnt/static.example.com
s3ql mount.s3ql s3://static.example.com /mnt/static.example.com

我也尝试过使用这个 S3 类：https://github.com/tpyo/amazon-s3-php-class/ 和这个 FuelPHP 特定的 S3 包：https://github.com/tomschlick/fuel-s3。我能够让 FuelPHP 包列出可用的存储桶和文件，但将文件保存到存储桶失败（但没有出错）。

您是否曾经在本地 linux 文件系统上挂载过 S3 存储桶并使用 PHP 成功将文件写入存储桶？你用了什么工具？如果您使用上述工具之一，您使用的是哪个版本？

编辑 我被告知，我在 GitHub 上使用 RioFS 打开的问题已经解决。虽然我决定使用 S3 REST API 而不是尝试将存储桶作为卷挂载，但现在看来 RioFS 可能是一个可行的选择。

【问题讨论】：

为什么投反对票？我需要更具体/更具体吗？

您为什么不使用S3 API 而不是尝试将其用作文件系统？

不是反对者，但我想知道他/她是否正在寻找您遇到问题的代码块。虽然我们这里确实有针对讨论性问题的政策，但这个问题对我来说似乎足够具体，所以 +1。

@StevenVondruska 我会调查的。谢谢。

@halfer 我认为人们对帖子标题的反应更多（我确实很沮丧！）而不是内容，这就是我再次尝试的原因。谢谢！

【参考方案1】：

您是否曾在本地 linux 文件系统上安装过 S3 存储桶？

没有。测试很有趣，但我不会让它靠近生产系统。使用库与 S3 通信要好得多。原因如下：

它不会隐藏错误。文件系统只有一些错误代码可以发送给您以指示问题。 S3 库将为您提供来自 Amazon 的确切错误消息，以便您了解发生了什么、记录错误、处理极端情况等。 库将使用更少的内存。文件系统层将缓存许多您永远不会再使用的随机内容。库让您可以控制决定缓存什么，不缓存什么。 扩展。如果您需要做任何花哨的事情（在文件上设置 ACL、生成签名链接、版本控制、生命周期、更改持久性等），那么您将不得不转储文件系统抽象并使用库。 定时和重试。一部分请求随机出错，可以重试。有时您可能想重试很多次，有时您宁愿快速出错。文件系统无法为您提供精细控制，但库可以。

底线是FUSE下的S3是leaky abstraction。 S3 没有（或不需要）目录。文件系统不是为数十亿个文件而构建的。他们的权限模型不兼容。您试图将 S3 硬塞到文件系统中，从而浪费了 S3 的大量功能。

用于与 S3 对话的两个随机 PHP 库：

https://github.com/KnpLabs/Gaufrette

https://aws.amazon.com/sdkforphp/ - 如果您的扩展超出了仅使用 S3 的范围，或者如果您需要执行上述任何花哨的请求，则此选项很有用。

【讨论】：

我不知道为什么我什至尝试将 S3 存储桶挂载到本地文件系统上……可能是因为这是别人的想法。

我检查了 Gaufrette，认为它会使 s3 集成更容易，但实际上，amazon 的 php sdk 本身就很容易使用。

【参考方案2】：

通常，将文件写入 EBS 卷，然后强制对文件的后续公共请求通过 CloudFront CDN 路由是有利的。

这样，如果应用程序必须对文件进行任何转换，则在本地驱动器和系统上执行会容易得多，然后强制请求转换后的文件通过 CloudFront 从源中提取。

例如如果您的用户正在为头像上传图像，并且头像图像需要多次迭代以调整大小和裁剪，您的应用可以在本地卷上创建这些图像，但对文件的所有公共请求都将通过云端原始拉取请求进行.这样，您可以最大程度地灵活保留原始文件（或文件的优化版本），任何后续用户请求都可以从云端前端提取现有版本，或者云端将请求路由回应用程序并创建任何必要的迭代。

上述的一个基本示例是 WordPress，除了保留原始图像（受文件大小限制和/或插件转换）外，它还可以为上传的任何图形图像创建多个大小/裁剪的版本。支持 CDN 的 WordPress 插件，例如 W3 Total Cache 重写请求以通过 CDN，因此应用程序只需要创建唯一的第一个请求迭代。添加浏览器缓存 URL 版本控制 (http://domain.tld/file.php?x123) 进一步优化和利用 CDN 功能。

如果您担心 EBS 卷文件大小或 inode 的快速扩展，您可以对很少请求的文件或过期文件自动执行修剪过程。