如何在谷歌云存储中启用实时对象访问分析？

Posted 2021-05-04

我正在尝试为存储在Google云存储分区中的对象设置实时访问日志。谷歌指定here的访问日志每小时生成一次，不起作用。

我想要有关对象访问（ip，下载量，client_os）的类似信息，但要实时。有没有办法在谷歌云平台上做到这一点？

如果通过实时日志将流量路由到另一个点会更好，我会很感激有关如何使用实际日志和使用什么工具的建议。最终，我希望在谷歌数据工作室中显示数据。

答案

不幸的是，谷歌存储只提供以下gcp-storage metric

- api/request_count
- authz/acl_based_object_access_count
- authz/object_specific_acl_mutation_count
- network/received_bytes_count
- network/sent_bytes_count
- storage/object_count
- storage/total_byte_seconds
- storage/total_bytes

我想你想要你的桶对象的访问日志，如图像，视频等。您也许可以尝试在桶前使用Google Cloud CDN。因此，您可以通过httpRequest获取所需的访问日志，并从stackdriver获取

{
  "requestMethod": string,
  "requestUrl": string,
  "requestSize": string,
  "status": number,
  "responseSize": string,
  "userAgent": string,
  "remoteIp": string,
  "serverIp": string,
  "referer": string,
  "latency": string,
  "cacheLookup": boolean,
  "cacheHit": boolean,
  "cacheValidatedWithOriginServer": boolean,
  "cacheFillBytes": string,
  "protocol": string
}

另一答案

云存储日志有​​三种类型：

1. Access logs - 更新每小时速率记录指定存储桶的所有请求。
2. 存储日志 - 每日更新，提供有关最后一天存储使用情况的所有信息。
3. Audit logs - 持续跟踪访问，这是recommended记录您的存储活动的方式为autenticated用户。

您可以在Google Cloud Platform Console>活动Activity Stream中查看审核日志。

资源类型过滤器：GCS bucket。

可以在Logs Viewer中找到更详细的日志版本。

如果您需要使用日志进行进一步分析，请在Google Cloud文档中提供there are several options to do so。还有用于在Data Studio中可视化数据的示例查询。 Check more custom queries for Data Studio here。