使用 go 将流文件上传到 AWS S3

Posted 2023-03-22

【中文标题】使用 go 将流文件上传到 AWS S3

【英文标题】：Stream file upload to AWS S3 using go

【发布时间】：2016-03-14 15:03:27

【问题描述】：

我想以尽可能少的内存和文件磁盘占用空间将多部分/表单数据（大）文件直接上传到 AWS S3。我怎样才能做到这一点？在线资源仅说明如何上传文件并将其本地存储在服务器上。

【参考方案1】：

我没有尝试过，但如果我是你，请尝试分段上传选项。

您可以阅读文档multipartupload。

here 是分段上传和分段上传中止的示例。

【讨论】：

hm 看起来我只能将 ReaderSeeker 用于正文，我认为这意味着无法直接流式传输

【参考方案2】：

另一个选项是使用goofys 挂载 S3 存储桶，然后将您的写入流式传输到挂载点。 goofys 不会在本地缓冲内容，因此它可以很好地处理大文件。

【参考方案3】：

您可以使用minio-go 来做到这一点：

n, err := s3Client.PutObject("bucket-name", "objectName", object, size, "application/octet-stream")

PutObject() 在内部自动进行分段上传。 Example

【讨论】：

我认为这不是正确的答案，因为这里我们无法控制部分，而 AWS API 让我们可以分别上传每个部分并发送初始/完成/中止上传命令。

此处链接的示例实际上并未使用PubObject 进行流式传输。

【参考方案4】：

您可以使用upload manager 流式传输文件并上传，您可以在source code 中读取cmets 你也可以配置params来设置part size, concurrency & max upload parts，下面是一个示例代码供参考。

package main

import (
    "fmt"
    "os"

    "github.com/aws/aws-sdk-go/aws/credentials"

    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3/s3manager"
)

var filename = "file_name.zip"
var myBucket = "myBucket"
var myKey = "file_name.zip"
var accessKey = ""
var accessSecret = ""

func main() 
    var awsConfig *aws.Config
    if accessKey == "" || accessSecret == "" 
        //load default credentials
        awsConfig = &aws.Config
            Region: aws.String("us-west-2"),
        
     else 
        awsConfig = &aws.Config
            Region:      aws.String("us-west-2"),
            Credentials: credentials.NewStaticCredentials(accessKey, accessSecret, ""),
        
    

    // The session the S3 Uploader will use
    sess := session.Must(session.NewSession(awsConfig))

    // Create an uploader with the session and default options
    //uploader := s3manager.NewUploader(sess)

    // Create an uploader with the session and custom options
    uploader := s3manager.NewUploader(sess, func(u *s3manager.Uploader) 
        u.PartSize = 5 * 1024 * 1024 // The minimum/default allowed part size is 5MB
        u.Concurrency = 2            // default is 5
    )

    //open the file
    f, err := os.Open(filename)
    if err != nil 
        fmt.Printf("failed to open file %q, %v", filename, err)
        return
    
    //defer f.Close()

    // Upload the file to S3.
    result, err := uploader.Upload(&s3manager.UploadInput
        Bucket: aws.String(myBucket),
        Key:    aws.String(myKey),
        Body:   f,
    )

    //in case it fails to upload
    if err != nil 
        fmt.Printf("failed to upload file, %v", err)
        return
    
    fmt.Printf("file uploaded to, %s\n", result.Location)

【讨论】：

感谢您的回答。如果我的文件小于 5 MB，它仍然会流式传输到 S3？但据我所知，这个文件只有在完全上传后才会出现在 S3 上？

是的，它将在一个部分中流式传输。正确，文件将在完全上传后出现。