在 Python 中测量从 s3 存储桶消耗的进出带宽
Posted
技术标签:
【中文标题】在 Python 中测量从 s3 存储桶消耗的进出带宽【英文标题】：Measure consumed in and out bandwidth from s3 bucket in Python 【发布时间】：2022-01-02 07:06:09 【问题描述】：我正在使用带有 Amazon S3 存储桶的云计算。最近，S3 的出站使用成本激增。我对我的代码进行了各种更改，因此我无法查明额外成本的来源。有没有一个 python 包可以帮助我用 S3 测量我的 io
【问题讨论】：
【参考方案1】：你应该Log requests using server access logging - Amazon Simple Storage Service。
服务器访问日志将在 Amazon S3 中创建（许多）日志文件，您可以在其中监控请求和响应的大小 (Bytes Sent)。
见：Amazon S3 server access log format - Amazon Simple Storage Service
日志文件的数量以及每个日志文件中的内容量可能会使分析变得困难。您可能希望使用 Amazon Athena 查询这些访问日志。
见：Analyze S3 server access logs using Athena
【讨论】：
以上是关于在 Python 中测量从 s3 存储桶消耗的进出带宽的主要内容，如果未能解决你的问题，请参考以下文章