将 gcloud 虚拟机实例监控数据提取到 BigQuery

Posted 2023-03-24

【中文标题】将 gcloud 虚拟机实例监控数据提取到 BigQuery

【英文标题】：Extract gcloud VM Instance Monitoring Data to BigQuery

【发布时间】：2020-12-16 10:39:59

【问题描述】：

大纲

我们在 Google Cloud 上的专用 VM 实例上运行电子商务平台。我们的大部分流量发生在周一，然后我们将时事通讯发送给我们的客户群。正因为如此，我们每个星期一都有巨大的流量高峰。

目标

由于这种高峰流量，我们需要确保我们了解单个用户平均产生多少服务器负载。为此，我们希望将我们的 VM 实例监控数据与 Google Datastudio 中的 Google Analytics 数据相关联。为了更好地理解上述动态。

问题

据我们所知（基于文档），在 Google Datastudio 中，gcloud sdk 不会直接消耗数据。考虑到这一点，我们尝试通过提取数据。 BigQuery，但也没有找到访问我们虚拟机实例的监控数据的可能性。

因此，我们正在寻找一种解决方案，即如何将我们的虚拟机实例的监控数据提取到 Google Datastudio（最好通过 BigQuery）。感谢您的帮助。

【问题讨论】：

我不确定你的具体监控数据是什么。但我想您可以根据您的应用程序在 VM 上使用的programming language 和从 BigQuery 使用的 export the logs 安装 Cloud Logging agent 或实际上任何其他日志库，您可以从 BigQuery 安装 visualize the data in Data Studio。

嗨@DanielOcando 我们已经在我们的实例上安装了日志和监控代理。我仍然需要访问完整的监控数据。但我会仔细检查一下，谢谢。

【参考方案1】：

Here是谷歌官方的出口监控解决方案。

本页介绍如何将监控指标导出到 bigquery 数据集。

解决方案部署使用 pub/sub、应用引擎、云调度器和一些 python 代码。

我想你只需要导出here中列出的指标即可。

如果您成功完成导出过程，那么您可以使用 Google Data Studio 来可视化您的指标数据。