AWS S3监控文件夹级别指标
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AWS S3监控文件夹级别指标相关的知识,希望对你有一定的参考价值。
我正在尝试监视S3文件夹级别指标,尝试在两个文件夹之间进行比较。 s3://logs-bucket/error/2019/01/
s3://logs-bucket/info/2019/01/
我花了一个小时玩CloudWatch指标,但仍然不知道如何做到这一点。我不是想做任何花哨的事情,只是想在两个文件夹之间绘制NumberOfObjects
和BucketSizeBytes
。子级指标是付费功能吗?
CloudWatch默认仅提供存储桶级别指标。但您可以通过过滤器定义其他度量标准(S3 bucket-> Management-> Metrics-> Filters)。为每个前缀(/error/2019/01/,/info/2019/01/
)定义新的度量标准过滤器。然后,您可以将FilterId
用作CloudWatch S3查询中的维度。
Doc:https://docs.aws.amazon.com/AmazonS3/latest/dev/cloudwatch-monitoring.html
更新:@Tartaglia是对的,过滤器仅用于请求指标=>您无法获得NumberOfObjects and
BucketSizeByteswith
FilterId`维度。因此,您无法使用默认的CloudWatch功能进行监控。您可以对其进行脚本/编码,并将请求的指标作为自定义指标推送到CloudWatch。
以上是关于AWS S3监控文件夹级别指标的主要内容,如果未能解决你的问题,请参考以下文章
Flink`textInputFormat`不处理来自aws S3`Source`文件系统的GZ压缩文件