是否有一种工具可以从 AWS Elastic Beanstalk 以聚合方式轻松搜索 S3 中每小时轮换的日志？

Posted 2023-03-04

【中文标题】是否有一种工具可以从 AWS Elastic Beanstalk 以聚合方式轻松搜索 S3 中每小时轮换的日志？

【英文标题】：Is there a tool for easily searching hourly rotated logs in S3 from AWS Elastic Beanstalk in aggregated fashion?

【发布时间】：2012-11-28 12:20:41

【问题描述】：

很高兴 AWS Elastic Beanstalk 可以为您自动轮换日志。问题是，一旦在 s3 中，它们都是 GZipped 并且每小时在一个文件中。为了在一段时间内进行任何类型的分析，它需要手动下载所有单独的 .gz 文件，解压缩它们，然后搜索它们。我正在寻找一种工具，我可以只指向一个 S3 文件夹，并在我的日志上具有文本搜索功能。

【参考方案1】：

我在尝试聚合和搜索 S3 访问和 Cloudfront 日志文件时遇到了类似的问题。令人惊讶的是，在这个问题发布多年后，我仍然没有找到一个好的解决方案，所以我自己编写了一个使用 S3 通知和 AWS Lambda 的解决方案。如果您不直接将事件从您的应用程序发布到 papertrail 并且仅依赖写入 S3 的日志，您可以调整 https://github.com/qixotic/s3-to-logstore 来解析您的日志文件格式并推送到 papertrail（或其他传输）。