GCP 多个项目的 Google 数据洞察计费报告演示

Posted 2023-03-24

【中文标题】GCP 多个项目的 Google 数据洞察计费报告演示

【英文标题】：Google Data Studio Billing Report Demo for GCP multiple projects

【发布时间】：2019-01-13 11:01:36

【问题描述】：

基本上，我正在尝试为多个项目设置 Google Cloud Billing Report Demo。 这个link中提到的例子

其中有 3 个步骤为 Data Studio 配置数据源

创建结算导出数据源 创建支出趋势数据源 创建 BigQuery 审计数据源

现在第一点很清楚了。

对于第二点，演示中提供的query example 基于单个项目。就我而言，我想从多个项目中获得支出数据源。 在这种情况下，根据每个项目进行查询的 UNION 是否有效？

第三点，我需要所有项目的 Bigquery 审计日志。我认为在我的所有项目中为 bigquery 设置如下所示的外部单个数据集接收器应该能够满足需要。

bigquery.googleapis.com/projects/myorg-project/datasets/myorg_cloud_costs

但我看到在我的数据集中创建的表带有后缀 _(1)，如下所示

cloudaudit_googleapis_com_activity_ (1)
cloudaudit_googleapis_com_data_access_ (1)

尽管在所有项目中多次运行 bigquery 查询，但这些表不包含任何数据。事实上，它在预览时显示以下错误。

Unable to find table: myorg-project:cloud_costs.cloudaudit_googleapis_com_activity_20190113 

我认为带有后缀 _ (1) 的自动生成名称会导致一些问题，因此也没有填充数据。

我相信应该有一个非常简单的解决方案，但这只是我无法以正确的方式思考。 有人可以提供一些有关如何解决 gcp datastudio 计费报告演示中多个项目的第二和第三要求的信息吗？

【参考方案1】：

对于第二点，演示中提供的查询示例基于 一个项目。就我而言，我想从 多个项目。是否根据每个项目做 UNION 的查询 在这种情况下有效吗？

该项目是您为 BigQuery 中的欺凌审核日志指定的项目。日志附加到计费帐户，该帐户下可以包含多个项目。计费帐户中的所有项目都将记录在日志中 - 更具体地说，是 project.id 列。

第三点，我需要所有项目的 Bigquery 审计日志。一世 考虑设置外部单个数据集接收器，如下所示 我所有项目中的 bigquery 都应该能够满足需要。

您使用includeChildren 属性。见here。如果您没有组织或使用文件夹，那么您将需要为每个项目创建一个接收器，并将其指向 BigQuery 中您希望所有日志存放的数据集。您可以使用gcloud 工具编写脚本。这很容易。

我认为带有后缀 _ (1) 的自动生成名称会导致一些问题，因此也没有填充数据。

后缀正常。此外，您的日志/接收器可能需要几个小时才能开始流动。

【讨论】：

感谢@Graham Polley。第三点，我的项目不属于组织或文件夹。此汇总日志是强制性的吗？

我想知道我是否在计费帐户级别创建接收器，然后将 bigquery 审计日志导出到此计费帐户下所有项目的接收器？在这种情况下，--logfilter 应该是什么？