将大文件从本地机器复制到 S3 时读取端点 URL 超时

Posted 2023-03-22

【中文标题】将大文件从本地机器复制到 S3 时读取端点 URL 超时

【英文标题】：Read timeout on endpoint URL when copying large files from local machine to S3

【发布时间】：2022-01-17 20:18:18

【问题描述】：

当我运行 aws s3 cp local_file.csv s3://bucket_name/file.csv 时，上传复制开始正常并运行正常，直到速度变慢并最终超时（大约 20-30% 已上传）并出现以下错误：

Read timeout on endpoint URL: "https://bucketname.s3.amazonaws.com/file.csv?uploadid=xxx&partNumber=65.

该文件很大（~2GB），但我过去从另一个上传速度更快的网络运行此过程正常。现在我在家中以较低的速度运行它（最大 10mbps，但上传时间越长，速度越慢），我想在超时之前留出更多余地。

知道如何将该超时设置为不同的阈值吗？无法在 AWS 文档中发现这一点。

【参考方案1】：

您可能必须在配置文件中为 cli 设置一些配置值，以便将大文件分解为可管理的块：请参阅下面的链接：

https://docs.aws.amazon.com/cli/latest/topic/s3-config.html

还要确保您的 CLI 版本是最新的。