如何使用 Bigquery 连接 GCP SQL 实例?

Posted

技术标签:

【中文标题】如何使用 Bigquery 连接 GCP SQL 实例?【英文标题】:How to connect GCP SQL instance by using Bigquery? 【发布时间】:2019-12-07 14:59:19 【问题描述】:

我需要帮助,我是 Bigquery 的新手..

我想在 Data Studio 中通过 Bigquery 连接查看我的 SQL 表。但是我不知道如何从 Bigquery 连接 GCP mysql 实例。

我尝试更改我的 SQL 实例的区域/位置。(我认为它有一点帮助)并在新的 BigQuery Web UI 中使用此查询..但我收到以下错误。

选择 * 从 myinstanceid.my_database_01.TABLE_YS是的

错误:((未找到:项目 myinstanceid))

【问题讨论】:

【参考方案1】:

您不能直接连接 MySQL 数据库,唯一支持的 external data sources 是:GCS 文件、Cloud Bigtable、Google Drive(甚至直接 google 电子表格)。

要对 MySQL 数据库中的数据运行分析,您需要将数据导出到受支持的外部数据源,或者更好地导出到 BigQuery 原生表中。

【讨论】:

有没有办法通过 Bigquery 查看“实时”数据?因此我们可以更频繁地在 Google Data Studio 上查看数据。 (Cloud SQL 和 MySQL 连接器只允许 12 小时的数据新鲜度。) 当您从 BigQuery 表/视图驱动数据洞察仪表板时,数据是“实时”的,我认为 12 小时限制是与连接器相关的限制。如果您设计了一个将数据从 MySQL 转储到 Bigquery 的流程,您可以在加载流程完成时访问数据。

以上是关于如何使用 Bigquery 连接 GCP SQL 实例?的主要内容,如果未能解决你的问题,请参考以下文章

通常如何从 Google Apps 脚本访问 BigQuery

如何在 BigQuery 中最小化每次 SQL 查询执行的成本

如何从本地机器访问 GCP bigquery API?

ValueError:必须使用 beam.io.gcp.bigquery.ReadFromBigQuery 指定 BigQuery 表或查询

如何在 Python 中安装 gcp?

使用 apache beam 中的 beam.io.gcp.bigquery.WriteToBigQuery 模块写入日期分区的 Bigquery 表